爬虫爬取京东、淘宝、苏宁上华为P20购买评论
1.使用软件
Anaconda3
2.代码截图
三个网站代码大同小异,因此只展示一个
3.结果(部分)
京东
淘宝
苏宁
4.分析
这三个网站上的评论数据是动态的,无法直接获取html解析出来。这些数据是通过数据包的传输获取到这些评论信息,其中通过浏览器开发者模式对数据包的查找,得知京东和淘宝是通过后台发的前端的json包解析得到,而苏宁是js包。但是经过分析,包结构均为:字段(json)结构。只要简单的去掉“字段()”结构就是简单的json数据,之后便可以引入python的json包,调用其中的方法便可以提取出评论的字符。