文件名称:分布式爬取知乎信息 zhihu.zip
文件大小:15KB
文件格式:ZIP
更新时间:2023-03-15 11:45:50
scrapy-redis mongodb 分布式爬虫
使用scrapy-redis分布式爬虫, 爬取知乎用户的关注列表信息及关注者的粉丝,将爬取的数据存储到mongodb数据库中
【文件预览】:
zhihu
----zhihu()
--------middlewares.py(4KB)
--------pipelines.py(1KB)
--------spiders()
--------entry.py(76B)
--------__pycache__()
--------items.py(516B)
--------__init__.py(0B)
--------settings.py(7KB)
----scrapy.cfg(253B)