序言
好兄弟们,陪玩大家多少都知道亿点吧!
漂亮妹妹超级多,长得又好看,还会萝莉音御姐音,滋溜~
就是说,今天来带咱们来爬爬陪玩的数据,一起看看行情咋样~
工欲善其事,必先利其器
我们爬东西,一般都是用的这几步:
1、数据来源分析
确定需求,采集那个网站上面什么数据。
抓包分析,通过开发者工具进行抓包分析。
2、实现步骤
-
发送请求,对于刚刚分析得到url地址发送请求;
-
获取数据, 获取服务器返回响应数据;
-
解析数据, 提取我们想要数据内容,音频试音,陪玩照片, 基本陪玩数据;
-
保存数据, 保存本地文件夹;
3、环境与模块
环境
python 3.8
pycharm
模块安装使用
import requests # 数据请求模块
from pprint import pprint # 格式化输出模块
import json # json模块
import csv # csv模块
import os.path # 自动创建文件模块
requests 是导入数据请求模块,属于第三方模块,需要在cmd里面或者pycharm终端里面进行安装 pip install requests 安装。
其它三个都是内置模块,不需要安装。
代码展示
代码仅做展示,完整代码文末名片自取哈,我也录了对应的视频讲解,一起发给你~
c = open('data.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(c, fieldnames=[
'昵称',
'价格',
'热度',
'简介',
'详情页',
])
csv_writer.writeheader()
for page in range(1, 11):
url = 'https://****/api'
data = {
'act': 'userList',
'page': page,
'type': '1',
'sex': '2',
'voice': '1',
'order': '1',
}
response = requests.post(url=url, data=data)
for index in response.json()['data']['rows']:
dit = {
'昵称': index['nickname'],
'价格': index['price'],
'热度': index['exp'],
'简介': index['summary'].replace('\n', ''),
'详情页': f'https://*****/user/{index["uid"]}',
audio_url = 'https://****/' + json.loads(index['voice'])['url']
img_url = f'https://****/user/avatar/{index["uid"]}?image…ew2/1/interlace/1/ignore-error/1/w/100/format/jpg'
img_content = requests.get(url=img_url).content
audio_content = requests.get(url=audio_url).content
title = index["nickname"]
file = f'data\\{title}\\'
if not os.path.exists(file):
os.makedirs(file)
with open(file + title + '.jpg', mode='wb') as img:
img.write(img_content)
with open('img\\' + title + '.jpg', mode='wb') as img:
img.write(img_content)
with open(file + title + '.mp3', mode='wb') as audio:
audio.write(audio_content)
csv_writer.writerow(dit)
print(dit)
网址只能屏蔽了,不然发不出~
好兄弟们,不知不觉都写到半夜了,最后再给大家分享一波Python视频吧,希望对各位有所帮助:
溜了溜了~
睡觉睡觉~