python scrapy 爬取csdn论坛列表以及子页面

时间:2021-09-13 03:32:07
【文件属性】:

文件名称:python scrapy 爬取csdn论坛列表以及子页面

文件大小:9KB

文件格式:RAR

更新时间:2021-09-13 03:32:07

python scrapy 爬虫

爬取csdn论坛贴子标题,积分,时间,以及通过点击标题url爬去子页面详细信息, 保存到mongodb, 如果不想保存到mongodb,仅需关闭pipeline.py里代码即可


【文件预览】:
douban
----begin.py(142B)
----douban()
--------__init__.pyc(131B)
--------middlewares.py(4KB)
--------settings.pyc(644B)
--------spiders()
--------__init__.py(0B)
--------pipelines.py(880B)
--------items.pyc(492B)
--------__pycache__()
--------pipelines.pyc(1KB)
--------settings.py(3KB)
--------items.py(393B)
----scrapy.cfg(255B)

网友评论