文件名称：scrapy_demo：各种scrapy演示
文件大小：40KB
文件格式：ZIP
更新时间：2024-02-24 23:41:01
demo sqlalchemy oss kafka spider
Scrapy_demo 如果该项目对您有帮助，则该项目会抓取我最常抓取的网站列表，请加星号，谢谢:) 蜘蛛清单 豆瓣 douban_oss googleplay cnbeta K a cnblogs 项目特色 google play使用抓取蜘蛛和pymongo douban使用图像管道下载图像（如果被禁止，则使用标题），完成后将输出项目信息的txt文件 cnbeta使用sqlalchmey将项目保存到mysql数据库（或sqlalchemy支持的其他数据库） ka使用kafka，这是一个演示蜘蛛，如何将scrapy和kafka一起使用，该蜘蛛不会关闭，如果您向kafka推送消息，
【文件预览】：
scrapy_demo-master
----.gitignore(2KB)
----README.md(1001B)
----cnblogs()
--------cnblogs()
--------run_spider.py(95B)
--------scrapy.cfg(258B)
----googleplay()
--------googleplay()
--------run_spider.py(112B)
--------scrapy.cfg(264B)
----cnbeta()
--------cnbeta()
--------run_spider.py(131B)
--------scrapy.cfg(256B)
--------requirements.txt(33B)
----ka()
--------ka()
--------run_spider.py(113B)
--------scrapy.cfg(248B)
----douban()
--------run_spider.py(96B)
--------douban()
--------scrapy.cfg(256B)
----douban_oss()
--------run_spider.py(104B)
--------scrapy.cfg(263B)
--------requirements.txt(40B)
--------douban_oss()