文件名称:torequests:用于请求aiohttp的异步包装程序,以及一些爬网程序工具包。 让同步代码享受异步编程的性能
文件大小:73KB
文件格式:ZIP
更新时间:2024-06-14 22:49:07
async asynchronous aiohttp requests thread-pool
简而言之,requests和aiohttp wrapper用于异步编程的菜鸟,以缩短代码量。 安装: 点安装torequests -U 要求 python2.7 / python3.6 + | requests # python | futures # python2 | aiohttp >= 3.6.2 # python3 特征 受启发,使异步编码简短流畅,与win32 / python 2&3兼容。 将所有功能转换为带有并发功能的异步模式。 Wrap请求lib并发.futures来享受并发性能。 简化aiohttp,使其requests-like 。 添加FailureException来检查请求失败的上下文。 增加频率控制,防止基于频率检查的反尖峰。 添加重试请求。 (支持response_validator ) 很多常见的爬虫工具。 与兼容 入门
【文件预览】:
torequests-master
----setup.py(3KB)
----.gitignore(642B)
----.travis.yml(131B)
----changelog.md(2KB)
----LICENSE(1KB)
----doc()
--------Makefile(607B)
--------index.rst(6KB)
--------conf.py(5KB)
--------modules.rst(53B)
--------make.bat(778B)
--------torequests.rst(1KB)
----.github()
--------workflows()
----README.md(13KB)
----README.rst(6KB)
----tests()
--------__init__.py(0B)
--------test_features.py(2KB)
--------_test_py3_features.py(9KB)
--------test_utils.py(19KB)
--------mock_server.py(279B)
----benchmarks()
--------py_test_client.py(5KB)
--------go_test_server.go(297B)
--------go_test_client.go(755B)
----torequests()
--------versions.py(282B)
--------dummy.py(33KB)
--------__init__.py(569B)
--------aiohttp_dummy.py(9KB)
--------_py3_patch.py(4KB)
--------logs.py(6KB)
--------utils.py(62KB)
--------frequency_controller()
--------__main__.py(86B)
--------crawlers.py(19KB)
--------main.py(31KB)
--------configs.py(252B)
--------exceptions.py(2KB)