文件名称:python scrapy 爬取csdn论坛列表以及子页面
文件大小:9KB
文件格式:RAR
更新时间:2021-09-13 03:32:07
python scrapy 爬虫
爬取csdn论坛贴子标题,积分,时间,以及通过点击标题url爬去子页面详细信息, 保存到mongodb, 如果不想保存到mongodb,仅需关闭pipeline.py里代码即可
【文件预览】:
douban
----begin.py(142B)
----douban()
--------__init__.pyc(131B)
--------middlewares.py(4KB)
--------settings.pyc(644B)
--------spiders()
--------__init__.py(0B)
--------pipelines.py(880B)
--------items.pyc(492B)
--------__pycache__()
--------pipelines.pyc(1KB)
--------settings.py(3KB)
--------items.py(393B)
----scrapy.cfg(255B)