文件名称：scrapy-autoextract:用于Scrapy的Scrapinghub AutoExtract API集成
文件大小：30KB
文件格式：ZIP
更新时间：2024-06-14 07:52:07
Python
Scrapy和Autoextract API集成 该库通过两种不同的方式将ScrapingHub的AI启用的自动数据提取功能集成到Scrapy Spider中： 使用一个下载程序中间件，该中间件将AutoExtract响应注入到response.meta['autoextract'] ，以供蜘蛛使用。 与一个提供程序，该响应程序将响应作为回调参数注入。 安装 pip install scrapy-autoextract scrapy-autoextract需要使用Python 3.6+下载中间件，并且需要Python 3.7+用于scrapy-poet提供程序 用法 使用此库可以使用两种不同的方式来使用AutoExtract API： 使用我们的Scrapy中间件 使用我们的页面对象提供程序 中间件 中间件是选择加入的，可以根据请求使用{'autoextract': {'enabl
【文件预览】：
scrapy-autoextract-master
----setup.py(2KB)
----.gitignore(2KB)
----.codecov.yml(80B)
----CHANGES.rst(659B)
----.bumpversion.cfg(142B)
----LICENSE(2KB)
----setup.cfg(412B)
----.github()
--------workflows()
----README.rst(11KB)
----scrapy_autoextract()
--------errors.py(765B)
--------middlewares.py(11KB)
--------__init__.py(118B)
--------__version__.py(22B)
--------providers.py(10KB)
--------slot_semaphore.py(3KB)
--------utils.py(370B)
--------task_manager.py(3KB)
----tests()
--------conftest.py(263B)
--------requirements.txt(58B)
--------test_errors.py(681B)
--------test_autoextract.py(4KB)
--------__init__.py(0B)
--------test_providers.py(11KB)
--------utils.py(1KB)
--------test_task_manager.py(4KB)
--------test_slot_semaphore.py(4KB)
----pytest.ini(89B)
----tox.ini(461B)