当前位置:首页 » 《关注互联网》 » 正文

室友单恋班花失败,我爬了一个网站发给他瞬间治愈,男人的快乐就这么简单【每天一遍,忘记初恋】_AI19970205的博客

17 人参与  2021年07月15日 09:03  分类 : 《关注互联网》  评论

点击全文阅读


大家好,我是辣条。

上回我爬了班花的空间发现她喜欢的人是王俊凯,室友算是彻底死了心,跟我大醉一场后郁郁不振至今,作为他的死党(爸比)我很难受(开心),决心让他重新振作。于是毅然爬了一个网站分享给他,才有了今天这篇文章,分享给大家纯粹是技术交流!请大家备好纸巾...呸呸,请大家备好笔纸,今天的学习开始啦!

效果展示

爬取目标

网址:(网站地址不提供了,我求生欲很强了,审核大大手下留情)

【兄弟萌,不是我整活恶心大家,而是不打码过不了,我怀着赤诚之心跟大家交流技术!】 

工具使用

开发环境:win10、python3.7

开发工具:pycharm、Chrome

工具包:requests,lxml,threading

项目思路解析

首页信息为动态加载的数据 数据为动态加载的网页源代码

请求为post请求 传递的参数一个是页面的分类 ,一个是你需要的页数信息

在这里插入图片描述在这里插入图片描述

发送请求获取到json数据里的网页源代码 在通过xpath的方式提取出图片的详情页面地址 以及图片对应的名字

在这里插入图片描述

    response = requests.post(url, headers=headers, data=data).json()
    print(response)
    html_data = etree.HTML(response['data'])
    href_list = html_data.xpath('//div[@class="post-module-thumb"]//a/@href')
    name_list = html_data.xpath('//div[@class="post-module-thumb"]//img/@alt')
请求详情页面的地址获取详细数据信息 

在这里插入图片描述 提取到对应图片地址 保存对应图片数据

简易源码分享

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @File    : 萌妹子.py
import os
​
import requests
from lxml import etree
import threading
​
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
​
​
def get_img(href_list, name_list):
    for href, name in zip(href_list, name_list):
        res = requests.get(href, headers=headers)
        # print(res.text)
        html = etree.HTML(res.text)
        img_url_list = html.xpath('//div[@class="entry-content"]/p/img/@src')
        num = 0
        for img_url in img_url_list:
            result = requests.get(img_url).content
            path = '图片'
            if not os.path.exists(path):
                os.mkdir(path)
​
            f = open(path + '/' + name.replace(':', '').replace(':', '') + str(num) + '.jpg', 'wb')
            f.write(result)
            num += 1
            print('正在下载{}第{}张图片'.format(name, num))
​
​
def get_data(url, data):
    response = requests.post(url, headers=headers, data=data).json()
    print(response)
    html_data = etree.HTML(response['data'])
    href_list = html_data.xpath('//div[@class="post-module-thumb"]//a/@href')
    name_list = html_data.xpath('//div[@class="post-module-thumb"]//img/@alt')
​
    get_img(href_list, name_list)
​
​
if __name__ == '__main__':
    for i in range(1, 4):
        data = {
            'index': '1',
            'post_paged': str(i)
        }
        url = '网站地址不提供,想用来技术学习可以私信我拿'
        t1 = threading.Thread(target=get_data, args=(url, data))
        t1.start()

最好的爱情是双向奔赴,祝大家有情人终成眷属,单身狗们早日脱单!

PS:欢迎大家在评论中交流技术,辣条意在让编程变的更有趣学起来更轻松,不低俗不媚俗不违法违纪,学习新思想,争做新青年


点击全文阅读


本文链接:http://zhangshiyu.com/post/23374.html

图片  地址  数据  
<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最新文章

  • 你惹她干啥她疯起来嘎乱杀结局+番外+完结(楚瑶)全书浏览_你惹她干啥她疯起来嘎乱杀结局+番外+完结全书浏览
  • 高考分数出来那天,全家哭着求我原谅后续+番外_何思涵妹妹何思墨未删减_小说后续在线阅读_无删减免费完结_
  • 婚礼前夜未婚夫喂我安眠药,只为让养妹当新娘独家番外_许绍宁养妹全文_小说后续在线阅读_无删减免费完结_
  • 以身入局,我要掀翻这座城的天结局+番外+续集(程少云阮朵)_以身入局,我要掀翻这座城的天结局+番外+续集(程少云阮朵)
  • 出狱后,真千金手撕白莲杀疯了全文免费阅读无弹窗大结局_秦季姜沁最新章节列表_笔趣阁(出狱后,真千金手撕白莲杀疯了:完结+结局+番外)
  • 似锦的夫君停妻另娶挚友遗孀后,我杀疯了贺朝朝贺凌洲全书在线
  • 今夜雨将至(安佩项齐晟)_今夜雨将至
  • 暗恋逢光(江司聿夏未央)全书浏览_暗恋逢光全书浏览
  • 全文季总他图谋已久列表(秦韵季野)列表_全文季总他图谋已久列表
  • 重回高考前一天,我不再阻止同学们去参加班花组织的成人礼高口碑_林绾绾绾孟瑶故事会_小说后续在线阅读_无删减免费完结_
  • 全文最终还是失去你+结局(苏棠月靳延)列表_全文最终还是失去你+结局
  • 热文推荐心机美人攀高枝记:全文+番外(苏莞丝薛赜礼)书荒必看列表

    关于我们 | 我要投稿 | 免责申明

    Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1