异步:使用asyncio和aiohttp开发的轻量级初始化协程web爬虫框架

时间:2024-03-19 18:24:24
【文件属性】:

文件名称:异步:使用asyncio和aiohttp开发的轻量级初始化协程web爬虫框架

文件大小:20KB

文件格式:ZIP

更新时间:2024-03-19 18:24:24

Python

异步的 使用asyncio和aiohttp的串联Web搜寻器框架 Asyncpy是我基于asyncio和aiohttp开发的一个轻便高效的爬虫框架,采用了scrapy的设计模式,参考了github上一些开源框架的处理逻辑。 使用文档: : 应用案例: : github的: : pypi: ://pypi.org/project/asyncpy/ asyncpy的架构及流程 安装需要的环境 python版本需要> = 3.6依赖包:['lxml','parsel','docopt','aiohttp'] 安装命令: pip install asyncpy 如果安装报错: ERROR: Could not find a version that satisfies the requirement asyncpy (from versions: none) ERROR:


【文件预览】:
asyncpy-master
----asyncpy()
--------asyncpy()
--------LICENSE.txt(1KB)
--------setup.py(911B)
----README.md(7KB)

网友评论