首先应该去找到评论数所对应的网页元素:
可以大致猜测,这里是用JavaScript·去计算评论数量的。
刷新页面,去观测页面的js部分,有没有对应的链接,仔细查看:
找到之后,点击Preview,看到内部结构:
可以看出count部分,total代表了参与人数,show字段代表了评论数
就可以判断这就是需要的链接。也可以看出这是一种json数据。点击header,复制链接URL
最后正则表达式部分是抽取出新闻页面的编号。
本来页面的字段是这样:http://comment5.news.sina.com.cn/page/info?version=1&format=json&
channel=gn&newsid=comos-hcufqif2717044&group=undefined&compress=0&ie=utf-8&oe=utf-8&page=1&
page_size=3&t_size=3&h_size=3&thread=1&
callback=jsonp_1528628272255&_=1528628272255
但是发现删除最后一个字段callback之后才能正确获取内容,如果不删除,反而获取会出错。、
而url中间的channel=gn&newsid=comos-hcufqif2717044是新闻的id编号,每个新闻的id编号只有最后的几个数字不同,所以不同的新闻页面只需要更改一下新闻编号就行。为后面写出一个专门抽取新闻评论的函数做铺垫。
最后做了一个测试,抓取另一个页面的新闻评论:
很奇怪的是找不到所有评论,只能爬去他给你展示的这么一些评论,就算点击进入全部评论页面,也发现一旦评论数多了以后,也不会全部存储在页面上,只能获取一部分-他给你多少,你就只能爬多少。
爬取新闻文章部分: