文件名称：spider:一个节点蜘蛛
文件大小：32KB
文件格式：ZIP
更新时间：2024-07-23 15:55:17
JavaScript
蜘蛛 一个节点蜘蛛 先决条件 linux: 导出spider_home=/xx/xxx/repo/spider windows：设置系统环境变量spider_home d:\repo\spider 形成配置 { " session_key " : " session_id " , " SECRET " : " cloud-drive_on_your_behalf " , " nodes " : [ { " address " : " 127.0.0.1 " , " port " : " 6379 " } ], " node_env " : " development " , " proxy " : " 192.168.1.1:3128 " } 文件夹结构 spider --bin : startup --m
【文件预览】：
spider-master
----.gitignore(695B)
----package.json(1KB)
----spiders()
--------biz.js(2KB)
--------soufun()
--------58()
--------crawlCities.js(3KB)
--------engine.js(1KB)
--------hotCities.json(2KB)
--------model.js(8KB)
--------anjuke()
----.travis.yml(176B)
----LICENSE(1KB)
----README.md(830B)
----modules()
--------crawler()
--------other()
--------repeater()
--------scheduler()
--------config()
--------logger()
----test()
--------spider-soufun.spec.js(1KB)
--------cryptoUtils.spec.js(951B)
--------spider-58.spec.js(1KB)
--------repeater.spec.js(469B)
--------deepCopy.spec.js(3KB)
--------spider-anjuke.spec.js(1KB)