分布式爬取知乎信息 zhihu.zip

时间:2023-03-15 11:45:50
【文件属性】:

文件名称:分布式爬取知乎信息 zhihu.zip

文件大小:15KB

文件格式:ZIP

更新时间:2023-03-15 11:45:50

scrapy-redis mongodb 分布式爬虫

使用scrapy-redis分布式爬虫, 爬取知乎用户的关注列表信息及关注者的粉丝,将爬取的数据存储到mongodb数据库中


【文件预览】:
zhihu
----zhihu()
--------middlewares.py(4KB)
--------pipelines.py(1KB)
--------spiders()
--------entry.py(76B)
--------__pycache__()
--------items.py(516B)
--------__init__.py(0B)
--------settings.py(7KB)
----scrapy.cfg(253B)

网友评论