爬虫抓取网页数据

时间:2018-08-12 07:29:36
【文件属性】:

文件名称:爬虫抓取网页数据

文件大小:18KB

文件格式:ZIP

更新时间:2018-08-12 07:29:36

Python scrapy 爬虫

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。具体功能是,通过scrapy和Python编程对BBS网站进行抓取数据。


【文件预览】:
bbs
----readme.docx(12KB)
----bbsdmoz()
--------spiders()
--------items.py(374B)
--------pipelines.py(1KB)
--------settings.py(3KB)
--------settings.pyc(500B)
--------items.pyc(469B)
--------__init__.pyc(124B)
--------__init__.py(0B)
--------pipelines.pyc(2KB)
----scrapy.cfg(258B)

网友评论