mini-scrapy:基于gevent的mini-scrapy爬虫框架

时间:2024-05-23 19:24:46
【文件属性】:

文件名称:mini-scrapy:基于gevent的mini-scrapy爬虫框架

文件大小:13KB

文件格式:ZIP

更新时间:2024-05-23 19:24:46

Python

mini-scrapy 看完scrapy的源码后,根据scrapy的思想,基于gevent实现的一套mini版scrapy框架,半成品,待完善。


【文件预览】:
mini-scrapy-master
----.gitignore(6B)
----README.md(149B)
----scheduler.py(1KB)
----http()
--------request.py(773B)
--------__init__.py(0B)
--------response.py(677B)
----conf()
--------default_settings.py(3KB)
--------settings.py(2KB)
--------__init__.py(0B)
----downloader.py(2KB)
----proxy_list.txt(6KB)
----test_spider.py(1023B)
----utils.py(2KB)
----__init__.py(0B)
----downloadermiddleware.py(5KB)
----spider.py(907B)
----engine.py(3KB)
----reactor.py(453B)

网友评论