文件名称:知乎网站抓取
文件大小:118KB
文件格式:RAR
更新时间:2021-10-29 07:27:40
爬虫开发
知乎网站用户信息抓取,对于初学者便于熟悉网站的结构。 利用递归算法,以大v的关注列表和被关注列表为起点,依次递归抓取用户信息,并保存到mongodb数据库
【文件预览】:
Zhihu-master
----zhihuuser()
--------settings.py(4KB)
--------zhihu.csv(513KB)
--------pipelines.py(1KB)
--------middlewares.py(2KB)
--------__init__.py(0B)
--------items.py(1KB)
--------__pycache__()
--------spiders()
----scrapy.cfg(262B)
----.idea()
--------Zhihu-master.iml(398B)
--------misc.xml(196B)
--------workspace.xml(15KB)
--------inspectionProfiles()
--------modules.xml(276B)
----README.md(26B)
----.gitignore(12B)