头条号爬虫demo

时间:2022-07-29 08:32:08
【文件属性】:

文件名称:头条号爬虫demo

文件大小:6KB

文件格式:RAR

更新时间:2022-07-29 08:32:08

spide 爬虫 头条 scrapy

最近学习的scrapy爬虫框架,结合实际需要,做了一个爬取头条号中新闻的小示例。程序的pipeline中使用twisted的adbapi+cx_Oracle方式进行Oracle入库操作。如果需要运行此程序,请安装python的scrapy+cx_Oracle等库。另外,需要安装cx_Oracle对应版本的OracleClient或InstantClient(似乎支持11.2以上版本),两个x86或64版本也需要一致。


【文件预览】:
ttspider
----scrapy.cfg(259B)
----ttspider()
--------main.py(165B)
--------middlewares.py(4KB)
--------pipelines.py(2KB)
--------spiders()
--------items.py(917B)
--------__init__.py(0B)
--------settings.py(3KB)

网友评论