weixin_spider:抓取微信公众号历史文章

时间:2024-05-29 04:41:09
【文件属性】:

文件名称:weixin_spider:抓取微信公众号历史文章

文件大小:689KB

文件格式:ZIP

更新时间:2024-05-29 04:41:09

JavaScript

weixin_spider 使用手机代理方式,来抓取微信公众号相关信息,由于微信采用加密的HTTPS网络传输,所以需要支持https抓取,需要安装证书。 安装证书 参考 电脑和手机都得安装信任证书 抓取微信公众号历史文章 启动 npm install npm start 启动后将终端http代理服务器配置为127.0.0.1:8001即可 访问 ,web界面上能看到所有的请求信息 参考 脚本自动抓取文章并保存 npm run list_spider 此时需要手动打开微信公众号查看全部历史文章的页面,并手动下拉浏览完所有的文章,此时会自动记录所有公众号历史内容在output/weixin_list.txt下。


【文件预览】:
weixin_spider-master
----.gitignore(38B)
----package.json(280B)
----output()
--------weixin_list.txt(14KB)
----package-lock.json(63KB)
----asset()
--------wangchao.jpg(225KB)
--------spider_list.jpg(189KB)
--------spider_result.png(172KB)
--------wangchao_list.jpeg(175KB)
----README.md(1KB)
----weixin_list_rule.js(2KB)
----weixin_list.js(518B)

网友评论