文件名称：spider:一个网络蜘蛛框架
文件大小：13KB
文件格式：ZIP
更新时间：2024-06-18 15:37:00
nodejs crawler spider puppeteer nodejs-spider
gz-蜘蛛 基于 Puppeteer & Axios 的 NodeJs 网络蜘蛛框架； 特征 IP代理 失败重试 支持傀儡师 轻松兼容各种任务队列服务 轻松进行多处理 安装 npm i gz-spider --save 用法 const spider = require ( 'gz-spider' ) ; // All your spider code register in Processer spider . setProcesser ( { [ 'getGoogleSearchResult' ] : async ( fetcher , params ) => { // fetcher.page is original puppeteer page let resp = await fetcher . axios . get ( `https://www.goo
【文件预览】：
spider-master
----.gitignore(17B)
----package.json(538B)
----package-lock.json(16KB)
----README.zh.md(4KB)
----index.js(478B)
----utils.js(608B)
----README.md(3KB)
----fetcher.js(3KB)
----strategy.js(1KB)
----test()
--------index.js(697B)