【文件属性】:
文件名称:ruia:基于asyncio的异步Python 3.6+ Web抓取微框架
文件大小:1.22MB
文件格式:ZIP
更新时间:2021-04-30 21:18:37
crawler spider aiohttp middlewares asyncio
鲁阿
:spider_web: 基于asyncio的Async Python 3.6+ Web抓取微框架。
:high_voltage: 写得更少,运行得更快。
概述
Ruia是一个异步网络抓取微框架,由asyncio和aiohttp ,旨在使抓取url尽可能方便。
写得更少,运行速度更快:
文档:|
组织:
插件: (您所做的任何贡献都将不胜感激!)
特征
简单:声明式编程
快速:由asyncio提供支持
可扩展:中间件和插件
强大:JavaScript支持
安装
# For Linux & Mac
pip install -U ruia[uvloop]
# For Windows
pip install -U ruia
# New features
pip install git+https://github.com/howie6879/ruia
讲解
概述
安装
定义数据项
蜘蛛控制
要求与回应
自定义中间件