文件名称:Python-基于Redis实现的简单到爆的分布式爬虫
文件大小:16KB
文件格式:ZIP
更新时间:2022-08-31 23:06:42
Python开发-Web爬虫
基于Redis实现的简单到爆的分布式爬虫
【文件预览】:
Ugly-Distributed-Crawler-master
----LICENSE(16KB)
----master()
--------config.py(599B)
--------MasterMain.py(2KB)
--------basic_func.py(1KB)
--------start.py(91B)
----README.md(2KB)
----.gitignore(1KB)
----worker()
--------db.py(1020B)
--------WorkerMain.py(2KB)
--------config.py(624B)
--------basic_func.py(1KB)
--------start.py(66B)
--------filters.py(2KB)
----cooperator()
--------config.py(250B)
--------CoperProxy.py(3KB)
--------start.py(185B)