【文件属性】：
文件名称：scrapy-pyppeteer:Scrapy的Pyppeteer集成
文件大小：73KB
文件格式：ZIP
更新时间：2021-05-08 15:27:12
未维护
如果您需要Scrapy的浏览器集成，请考虑使用
Scrapy的Pyppeteer集成
该项目提供了一个Scrapy下载处理程序，该处理程序使用执行请求。 它可用于处理需要JavaScript的页面。 该软件包不会干扰常规的Scrapy工作流程，例如请求计划或项目处理。
动机
在发行后，其中包括部分和实验性，Scrapy允许集成基于asyncio的项目，例如Pyppeteer 。
要求
Python 3.6+
Scrapy 2.0+
皮皮特0.0.23+
安装
$ pip install scrapy-pyppeteer
配置
通过替换默认的http和https下载处理程序：
DOWNLOAD_HANDLERS = {
"http" : "scrapy_pyppeteer.handler.ScrapyPyppeteerDownloadHandler" ,
"h
【文件预览】：
scrapy-pyppeteer-master
----setup.py(1KB)
----.gitignore(130B)
----requirements.txt(30B)
----Makefile(365B)
----pyproject.toml(30B)
----LICENSE(1KB)
----setup.cfg(30B)
----.github()
--------workflows()
----README.md(9KB)
----tests()
--------test_page_coroutines.py(775B)
--------requirements.txt(68B)
--------__init__.py(0B)
--------mockserver.py(2KB)
--------site()
--------test_pyppeteer_requests.py(7KB)
--------test_mixed_requests.py(2KB)
----scrapy_pyppeteer()
--------_monkeypatches.py(854B)
--------__init__.py(23B)
--------page.py(871B)
--------handler.py(7KB)
----.editorconfig(148B)
----tox.ini(799B)