文件名称:Python-基于asyncioaiohttpuvloop的爬虫框架
文件大小:40KB
文件格式:ZIP
更新时间:2022-08-30 01:16:33
Python开发-Web爬虫
基于 asyncio,aiohttp,uvloop 的爬虫框架
【文件预览】:
flySpider-master
----mysqlHeaper()
--------__init__.py(26B)
--------AioMysqlHeaper.py(2KB)
--------__pycache__()
----schedule()
--------__init__.py(23B)
--------__pycache__()
--------scheudle.py(970B)
----item()
--------__init__.py(23B)
--------__pycache__()
--------item.py(2KB)
----proxyCrawler()
--------__init__.py(23B)
--------CrawlProxy.py(7KB)
--------__pycache__()
--------crawlerRedisProxy.py(6KB)
----engine()
--------Engine.py(4KB)
--------__init__.py(23B)
--------__pycache__()
----README.md(2KB)
----config.py(1KB)
----.idea()
--------misc.xml(199B)
--------webServers.xml(579B)
--------workspace.xml(52KB)
--------deployment.xml(450B)
--------.name(9B)
--------aioSpider.iml(467B)
--------modules.xml(270B)
----__pycache__()
--------config.cpython-36.pyc(1KB)
----infoCrawler()
--------__init__.py(23B)
--------__pycache__()
--------asyncFetch.py(2KB)
----selector()
--------__init__.py(23B)
--------selector.py(1KB)
--------__pycache__()
----main.py(1KB)
----parse()
--------__init__.py(23B)
--------new_parse.py(2KB)
--------__pycache__()