文件名称：scrapy-pyppeteer:Scrapy的Pyppeteer集成
文件大小：73KB
文件格式：ZIP
更新时间：2024-05-28 09:13:52
未维护 如果您需要Scrapy的浏览器集成，请考虑使用 Scrapy的Pyppeteer集成 该项目提供了一个Scrapy下载处理程序，该处理程序使用执行请求。 它可用于处理需要JavaScript的页面。 该软件包不会干扰常规的Scrapy工作流程，例如请求计划或项目处理。 动机 在发行后，其中包括部分和实验性，Scrapy允许集成基于asyncio的项目，例如Pyppeteer 。 要求 Python 3.6+ Scrapy 2.0+ 皮皮特0.0.23+ 安装 $ pip install scrapy-pyppeteer 配置 通过替换默认的http和https下载处理程序： DOWNLOAD_HANDLERS = { "http" : "scrapy_pyppeteer.handler.ScrapyPyppeteerDownloadHandler" , "h
【文件预览】：
scrapy-pyppeteer-master
----setup.py(1KB)
----.gitignore(130B)
----requirements.txt(30B)
----Makefile(365B)
----pyproject.toml(30B)
----LICENSE(1KB)
----setup.cfg(30B)
----.github()
--------workflows()
----README.md(9KB)
----tests()
--------test_page_coroutines.py(775B)
--------requirements.txt(68B)
--------__init__.py(0B)
--------mockserver.py(2KB)
--------site()
--------test_pyppeteer_requests.py(7KB)
--------test_mixed_requests.py(2KB)
----scrapy_pyppeteer()
--------_monkeypatches.py(854B)
--------__init__.py(23B)
--------page.py(871B)
--------handler.py(7KB)
----.editorconfig(148B)
----tox.ini(799B)