批量抓取微信公众号的文章

时间:2024-02-22 21:16:16

2020年3月17号更新,目前程序一直稳定运行....

记录一下今天的成果,确实可以抓取到,配置完成之后1分钟可以抓取100+(后来优化了一下,可以达到300左右)片吧,我没有用多进程,如果是多进程的话,效率会翻倍的增加。

抓取思路

  网上的方法大约有三种

  第一:通过搜狗微信  搜索入口 ,模拟搜索抓取,效率比较低,而且还有验证码,反爬虫机制;建议放弃。

  第二:通过抓包工具截取htts请求的数据包,意思就是使用pc端微信登录,监听公众号的推送消息,每当监听到推送之后就把数据获取下来,缺点是无法获取以前的历史记录

  第三:通过微信公众号的后台获取cookie和token来抓取;缺点是需要注册一个公众号,而且token有过期时间

以上几种是网友提供的思路,都可以实现,但同时也都有缺点。

以下是我用第三种方法实现的;

使用php,node.js都可以抓取;

  1.注册微信公众,登录之后选择新建素材,然后点击超链接,搜索任意公众号,保存该公众号的fakeid,同时保存cookie和token,

  2.在https请求中 设置header的cookie为第1步保存的cookie,参数是token,发送https请求,你会惊奇的发现已经拿下某公众号的历史记录 (默认40条);

  3.然后根据列表里面的内容链接地址,再获取具体的网页内容;

  4.把获取的内容存到本地的数据库中

总结:以上思路仅供参考,具体实现需要靠自己;

提示:源码收费,还请谅解;

------------------------------------------------------------------------------

鉴于有人咨询了一下抓取程序价格,我在这里声明一下:

抓取的功能没有你想的那么智能

1.需要指定公众号(可以指定多个,没有上限)
2.需要设置token以及对应的cookie参数(这两个参数登录微信公众号就可以获取,非常简单);

3.抓取速度,关于这个问题,不敢说过快,一天爬取5000(20000条也爬过)条还是很轻松的(什么?5000-条数据也叫爬虫,你tmd傻X吧,客观先别着急,为啥爬取的少?因为爬取太快会触发微信的 频率控制(一旦触发,24小时才解封),你等着吧)。

看到这里,你还没有放弃,那么看来你是真想要了。

 

可以购买源码,因为源码是我自己开发方便我自己阅读用的,一般要买源码的都需要做一些修改和开发,视情况而定