当前位置:首页 » 《随便一记》 » 正文

Python批量爬取简历

14 人参与  2022年10月22日 17:03  分类 : 《随便一记》  评论

点击全文阅读


文章目录

前言一、需求二、分析1. 查看网页源码(ctrl+u)2、进一步分析 三、处理四、运行效果


前言

为了更好的掌握数据处理的能力,因而开启Python网络爬虫系列小项目文章。

小项目小需求驱动,每篇文章会使用两种以上的方式(Xpath、Bs4、PyQuery、正则)获取想要的数据。博客系列完结后,将会总结各种方式。

一、需求

批量爬取简历下载到本地文件中

二、分析

1. 查看网页源码(ctrl+u)

在这里插入图片描述

网页源码中有各简历下载模板地址,如下图。

在这里插入图片描述

2、进一步分析

进入具体简历模板页面

在这里插入图片描述

F12进行抓包 ,分析点击免费下载的具体流程。

在这里插入图片描述

分析接口
https://www.51386.com/jlmb/3860.html?act=reply
https://www.51386.com/jlmb/3860.html?act=succ(页面返回下载资源)
https://oss.51386.com/3860.doc?Expires=1667648595&OSSAccessKeyId=OpPa5NVGTtEGvNCR&Signature=KAMPsVBwfE6p1g0OZbvdSEDuwl0%3D(最后下载资源的请求路径)

在这里插入图片描述

分析js文件
https://img.51386.com/1802/head.js(ip统计来控制下载次数)

在这里插入图片描述

三、处理

获取简历模板url

from pyquery import PyQuery as pqINDEX_URL = "https://www.51386.com/"def get_download_url(code):    doc = pq(code)    # 通过-jlmblist class属性获取简历url    content = doc(".jlmblist")    resume_dict = {}    for resume in content.items():        title = resume("a").attr("title")        url = resume("a").attr("href")        # 这里拼接了直接形成第二个接口https://www.51386.com/jlmb/3860.html?act=suc        resume_dict[title] = f"{INDEX_URL}{url}?act=succ"    return resume_dict

下载简历

import requestsimport redef get_resume_url(url):    headers ={        "referer": "https://www.51386.com/jlmb/4020.html?act=down"    }    res = requests.request("GET", url, headers=headers)    # print(res.text)    # 正则拿到oss下载资源    try:        deal = re.compile(r'"color:#08c" href="(?P<oss_url>.*?)">点击这里</a>',re.S)        result = deal.search(res.text)        oss_url = result.group("oss_url")    except Exception as e:        print(f"正则获取oss_url失败,{e}")    return oss_url

整体代码

# -*- encoding:utf-8 -*-__author__ = "Nick"__created_date__ = "2022/10/21""""待补充1、下载受限(统计ip来控制下载)---代理IP"""import requestsfrom pyquery import PyQuery as pqimport reHEADER = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"}INDEX_URL = "https://www.51386.com/"# 获取页面源码def get_index_code(url):    res = requests.request("GET",url=url, headers=HEADER)    res.encoding = "utf-8"    return res.text# 获取简历下载地址def get_download_url(code):    doc = pq(code)    content = doc(".jlmblist")    resume_dict = {}    for resume in content.items():        title = resume("a").attr("title")        url = resume("a").attr("href")        resume_dict[title] = f"{INDEX_URL}{url}?act=succ"    return resume_dict# 获取简历下载地址oss_urldef get_resume_url(url):    headers ={        "referer": "https://www.51386.com/jlmb/4020.html?act=down"    }    res = requests.request("GET", url, headers=headers)    # print(res.text)    # 正则拿到oss下载资源    try:        deal = re.compile(r'"color:#08c" href="(?P<oss_url>.*?)">点击这里</a>',re.S)        result = deal.search(res.text)        oss_url = result.group("oss_url")    except Exception as e:        print(f"正则获取oss_url失败,{e}")    return oss_url# 下载简历def get_download_resume(url,name):    if url:        res = requests.get(url,headers=HEADER).content        f = open(f"resume/{name}.doc",'wb')        f.write(res)        f.close()    else:        print("oss资源获取失败")if __name__ == '__main__':    code = get_index_code(url="https://www.51386.com/jlmb/")    resume_dict = get_download_url(code)    try:        for title, url in resume_dict.items():            oss_url = get_resume_url(url)            get_download_resume(oss_url,title,ip_dict)    except Exception as e:        print(e)

四、运行效果

请添加图片描述


点击全文阅读


本文链接:http://zhangshiyu.com/post/45391.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最新文章

  • 冬季宜密雪:结局+番外精编之作(季雯,江随筝)完整章节列表_笔趣阁
  • 完结文末日重生我囤十亿物资杀穿尸潮列表_完结文末日重生我囤十亿物资杀穿尸潮(林野苏晴)
  • 小说江诗云路明哲小说已更新+番外篇章(年少的爱终将散去)纯净阅读
  • 真千金伪装大学生在自家公司实习让狗爬后一口气看完_宋氏小林小姑娘高分神作_小说后续在线阅读_无删减免费完结_
  • 萧逸尘,楚璃,叶紫嫣爱恨决绝,此生不见番外(爱恨决绝,此生不见)TXT+后续+结局在线阅读
  • 假千金要交换人生?我抱着空间做首富爽文_苏木青赵景城虐心反转_小说后续在线阅读_无删减免费完结_
  • 温时雨谢远之续集(清风难渡无缘人)全本完整免费版_起点章节+后续(温时雨谢远之)
  • 订婚两个月后,未婚夫要摆脱包办婚姻精心打造_肖明宝宝宾客故事会_小说后续在线阅读_无删减免费完结_
  • 霍景琛,苏晚,林深昔年请深如海,终不敌薄凉附加(霍景琛,苏晚,林深)(昔年请深如海,终不敌薄凉)全本浏览阅读连载中
  • 新章速递汤安甯,白子奕,汤贝贝是什么小说(结婚十年,回归家庭的老婆在外有二胎了)完本阅读无广告(结婚十年,回归家庭的老婆在外有二胎了)
  • 娇牛马导师偷我论文99篇成功升博导,我让他牢底坐穿精校文本_周老师师姐师兄爽文_小说后续在线阅读_无删减免费完结_
  • 独家顾宇,罗薇:结局+番外精编之作(资助生装阔气,我可不参加)电子书畅享阅读

    关于我们 | 我要投稿 | 免责申明

    Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1