人生苦短,我用Python
序言工欲善其事,必先利其器1、数据来源分析2、实现步骤3、环境与模块 代码展示
序言
好兄弟们,陪玩大家多少都知道亿点吧!
漂亮妹妹超级多,长得又好看,还会萝莉音御姐音,滋溜~
就是说,今天来带咱们来爬爬陪玩的数据,一起看看行情咋样~
工欲善其事,必先利其器
我们爬东西,一般都是用的这几步:
1、数据来源分析
确定需求,采集那个网站上面什么数据。
抓包分析,通过开发者工具进行抓包分析。
2、实现步骤
发送请求,对于刚刚分析得到url地址发送请求;
获取数据, 获取服务器返回响应数据;
解析数据, 提取我们想要数据内容,音频试音,陪玩照片, 基本陪玩数据;
保存数据, 保存本地文件夹;
3、环境与模块
环境
python 3.8pycharm
模块安装使用
import requests # 数据请求模块from pprint import pprint # 格式化输出模块import json # json模块import csv # csv模块import os.path # 自动创建文件模块
requests 是导入数据请求模块,属于第三方模块,需要在cmd里面或者pycharm终端里面进行安装 pip install requests 安装。
其它三个都是内置模块,不需要安装。
代码展示
代码仅做展示,完整代码文末名片自取哈,我也录了对应的视频讲解,一起发给你~
c = open('data.csv', mode='a', encoding='utf-8-sig', newline='')csv_writer = csv.DictWriter(c, fieldnames=[ '昵称', '价格', '热度', '简介', '详情页',])csv_writer.writeheader() for page in range(1, 11): url = 'https://****/api' data = { 'act': 'userList', 'page': page, 'type': '1', 'sex': '2', 'voice': '1', 'order': '1', } response = requests.post(url=url, data=data) for index in response.json()['data']['rows']: dit = { '昵称': index['nickname'], '价格': index['price'], '热度': index['exp'], '简介': index['summary'].replace('\n', ''), '详情页': f'https://*****/user/{index["uid"]}', audio_url = 'https://****/' + json.loads(index['voice'])['url'] img_url = f'https://****/user/avatar/{index["uid"]}?image…ew2/1/interlace/1/ignore-error/1/w/100/format/jpg' img_content = requests.get(url=img_url).content audio_content = requests.get(url=audio_url).content title = index["nickname"] file = f'data\\{title}\\' if not os.path.exists(file): os.makedirs(file) with open(file + title + '.jpg', mode='wb') as img: img.write(img_content) with open('img\\' + title + '.jpg', mode='wb') as img: img.write(img_content) with open(file + title + '.mp3', mode='wb') as audio: audio.write(audio_content) csv_writer.writerow(dit) print(dit)
网址只能屏蔽了,不然发不出~
好兄弟们,不知不觉都写到半夜了,最后再给大家分享一波Python视频吧,希望对各位有所帮助:
Python零基础入门全套教程
Python进阶全套教程
Python实战100例
溜了溜了~
睡觉睡觉~