文件名称：使用ScrapyRedisMongoDB实现的一个分布式网络爬虫
文件大小：2.94MB
文件格式：ZIP
更新时间：2022-08-30 01:33:24
Python开发-Web爬虫
使用Scrapy,Redis,MongoDB实现的一个分布式网络爬虫,底层存储MongoDB,分布式使用Redis实现
【文件预览】：
housespider-master
----main.py(414B)
----scrapy.cfg(265B)
----housespider()
--------settings.py(5KB)
--------pipelines.py(2KB)
--------middlewares.py(2KB)
--------__init__.py(0B)
--------items.py(755B)
--------spiders()
----LICENSE(11KB)
----start.py(419B)
----README.md(2KB)
----scrapy_redis()
--------defaults.py(704B)
--------pipelines.py(2KB)
--------utils.py(192B)
--------picklecompat.py(242B)
--------__init__.py(183B)
--------dupefilter.py(5KB)
--------scheduler.py(6KB)
--------queue.py(4KB)
--------spiders.py(7KB)
--------bloomfilter.py(2KB)
--------connection.py(2KB)
----Twisted-18.4.0-cp36-none-win32.whl(2.98MB)
----.gitignore(1KB)