【文件属性】：
文件名称：scrapy_demo：各种scrapy演示
文件大小：40KB
文件格式：ZIP
更新时间：2021-02-04 05:54:21
demo sqlalchemy oss kafka spider
Scrapy_demo
如果该项目对您有帮助，则该项目会抓取我最常抓取的网站列表，请加星号，谢谢:)
蜘蛛清单
豆瓣
douban_oss
googleplay
cnbeta
K a
cnblogs
项目特色
google play使用抓取蜘蛛和pymongo
douban使用图像管道下载图像（如果被禁止，则使用标题），完成后将输出项目信息的txt文件
cnbeta使用sqlalchmey将项目保存到mysql数据库（或sqlalchemy支持的其他数据库）
ka使用kafka，这是一个演示蜘蛛，如何将scrapy和kafka一起使用，该蜘蛛不会关闭，如果您向kafka推送消息，
【文件预览】：
scrapy_demo-master
----.gitignore(2KB)
----README.md(1001B)
----cnblogs()
--------cnblogs()
--------run_spider.py(95B)
--------scrapy.cfg(258B)
----googleplay()
--------googleplay()
--------run_spider.py(112B)
--------scrapy.cfg(264B)
----cnbeta()
--------cnbeta()
--------run_spider.py(131B)
--------scrapy.cfg(256B)
--------requirements.txt(33B)
----ka()
--------ka()
--------run_spider.py(113B)
--------scrapy.cfg(248B)
----douban()
--------run_spider.py(96B)
--------douban()
--------scrapy.cfg(256B)
----douban_oss()
--------run_spider.py(104B)
--------scrapy.cfg(263B)
--------requirements.txt(40B)
--------douban_oss()