文件名称：wechat_spider:微信爬虫，获取文章内容、阅读量、点赞量、评论等，获取公众号所有历史文章链接
文件大小：1.13MB
文件格式：ZIP
更新时间：2024-05-31 15:20:04
JavaScript
wechat_spider 微信爬虫 基于 Node.js 的微信爬虫，通过中间人代理的原理，批量获取微信文章数据，包括阅读量、点赞量、在看数、评论和文章正文等数据。 使用代理模块 AnyProxy。代码已支持 AnyProxy 4 版本。 支持 Docker 部署。 项目可运行在个人电脑上，也可部署在服务器上。 开始 安装前准备 安装 Node，版本大于 8.8.1 安装 MongoDB，版本大于 3.4.6 安装 Redis 安装 git clone https://github.com/lqqyt2423/wechat_spider.git cd wechat_spider npm install 本项目基于代理模块 AnyProxy，解析微信 HTTPS 请求需在电脑和手机上都安装证书。可参考：。 通过 Docker 部署 git clone https://github.com/
【文件预览】：
wechat_spider-master
----client()
--------package.json(1KB)
--------package-lock.json(305KB)
--------app()
--------webpack.config.js(2KB)
--------build()
----models()
--------ProfilePubRecord.js(4KB)
--------index.js(865B)
--------plugins()
--------Comment.js(489B)
--------Post.js(2KB)
--------Profile.js(4KB)
----config.js(4KB)
----server()
--------index.js(758B)
--------wrap.js(172B)
--------api()
----index.js(1KB)
----package.json(1KB)
----test()
--------models()
--------exportData.js(1KB)
--------contentHandler.js(560B)
----Dockerfile(475B)
----LICENSE(1KB)
----package-lock.json(203KB)
----imgs()
--------posts_screenshot.png(91KB)
--------wx.png(27KB)
--------pay.png(17KB)
----.eslintrc.js(848B)
----certificates()
--------rootCA.key(2KB)
--------rootCA.crt(1KB)
----docker-compose.yml(473B)
----rule()
--------index.js(4KB)
--------handleImg()
--------getNextProfileLink.js(3KB)
--------savePostsData.js(6KB)
--------insertProfileScript.html(4KB)
--------handleProfileHistoryPage.js(6KB)
--------handlePostPage.js(5KB)
--------postLink.js(3KB)
--------basicAuth.js(717B)
----.gitignore(931B)
----.dockerignore(130B)
----README.md(5KB)
----.eslintignore(13B)
----utils()
--------exportData.js(7KB)
--------contentHandler.js(5KB)
--------index.js(521B)
--------helper.js(642B)
--------redis.js(369B)
--------correctWechatId.js(1KB)
--------logger.js(802B)
--------merge.js(353B)
----scripts()
--------checkWechatId.js(2KB)