python爬虫某东商品销售数据

经典四步曲：

1、查找有效URL，分析是静态数据还是动态数据，分析数据的格式。

2、编写python代码，向服务器发送请求，获取数据。

3、解析数据

4、保存数据

import requests
import json
import time
import openpyxl

# headers = {
#     "User-Agent": "Mozilla/5.0(Windows NT 6.1;WOW64) AppleWebKit/537.36(KABUL, like Gecko) "
#                   "Chrome/86.0.4240.198Safari/537.36 "
# }
# url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=10054692622823&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
# resp = requests.get(url=url, headers=headers)
# print(resp.text)

def get_comments(productID, page):
headers = {
"User-Agent": "Mozilla/5.0(Windows NT 6.1;WOW64) AppleWebKit/537.36(KABUL, like Gecko) "
"Chrome/86.0.4240.198Safari/537.36 "
    }
url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId={0}&score=0&sortType=5&page={1}&pageSize=10&isShadowSku=0&fold=1'.format(productID,page)
resp = requests.get(url=url, headers=headers)
# print(resp.text)
s = resp.text.replace('fetchJSON_comment98(', '')
s = s.replace(');', '')
# #将str类型的数据转换成json格式的数据
json_data = json.loads(s)
return json_data

# 获取最大页数
def get_max_page(productID):
dic_data = get_comments(productID, 0)
return dic_data['maxPage']

def get_info(productID):
# 获取最大页数
# max_page = get_max_page(productID)
max_page = 10
list = []
for page in range(1, max_page+1):
comments = get_comments(productID, page)
comm_list = comments['comments']# 根据KEY,获取value
for item in comm_list:
connect = item['content']
color =  item['productColor']
size = item['productSize']
score = item['score']
list.append([connect,color,size])
time.sleep(3)
save(list)

def save(list):
wk = openpyxl.Workbook()#创建工作薄对象
sheet = wk.active#获取活动页面
for item in list:#遍历列表
sheet.append(item)
wk.save('商品销售数据.xlsx')#保存在磁盘上

if __name__ == '__main__':
productID = '10025732446506'
# print(get_max_page(productID))
get_info(productID)

备注：避免反爬，只取了前10页数据。后续篇章将分享分析数据（含饼图）