python爬虫爬取新浪新闻的评论数以及部分评论

时间:2024-03-14 21:49:34

首先应该去找到评论数所对应的网页元素:

python爬虫爬取新浪新闻的评论数以及部分评论

可以大致猜测,这里是用JavaScript·去计算评论数量的。

刷新页面,去观测页面的js部分,有没有对应的链接,仔细查看:

python爬虫爬取新浪新闻的评论数以及部分评论

找到之后,点击Preview,看到内部结构:

python爬虫爬取新浪新闻的评论数以及部分评论

可以看出count部分,total代表了参与人数,show字段代表了评论数

就可以判断这就是需要的链接。也可以看出这是一种json数据。点击header,复制链接URL

python爬虫爬取新浪新闻的评论数以及部分评论

最后正则表达式部分是抽取出新闻页面的编号。

本来页面的字段是这样:http://comment5.news.sina.com.cn/page/info?version=1&format=json&
channel=gn&newsid=comos-hcufqif2717044&group=undefined&compress=0&ie=utf-8&oe=utf-8&page=1&
page_size=3&t_size=3&h_size=3&thread=1&

callback=jsonp_1528628272255&_=1528628272255

但是发现删除最后一个字段callback之后才能正确获取内容,如果不删除,反而获取会出错。、

而url中间的channel=gn&newsid=comos-hcufqif2717044是新闻的id编号,每个新闻的id编号只有最后的几个数字不同,所以不同的新闻页面只需要更改一下新闻编号就行。为后面写出一个专门抽取新闻评论的函数做铺垫。


最后做了一个测试,抓取另一个页面的新闻评论:

python爬虫爬取新浪新闻的评论数以及部分评论

很奇怪的是找不到所有评论,只能爬去他给你展示的这么一些评论,就算点击进入全部评论页面,也发现一旦评论数多了以后,也不会全部存储在页面上,只能获取一部分-他给你多少,你就只能爬多少。

爬取新闻文章部分:

python爬虫爬取新浪新闻的评论数以及部分评论