文件名称：scrapy-puppeteer:崎cra的人偶
文件大小：21KB
文件格式：ZIP
更新时间：2024-06-03 06:37:13
Python
玩弄木偶 Scrapy中间件处理使用JavaScript网页。 :warning: 积极开发中-使用前请先阅读 :warning: 这是为了使Scrapy和Puppeteer一起处理Javascript呈现的页面。 该设计受到Scrapy 强烈启发。 脾气暴躁的人偶 一起运行Scrapy和Puppeteer的主要问题是Scrapy使用的是 ，而 （我们使用的的python端口）正在使用进行异步处理。 幸运的是，我们可以使用Twisted的器使两者彼此交谈。 这就是为什么您不能使用scrapy -in scrapy命令行（安装默认的React堆）的原因，您将不得不使用此模块提供的scrapyp之一。 如果您是通过脚本运行Spider，则必须确保在导入scrapy或执行其他任何操作之前安装asyncioReact堆： import asyncio from twisted . internet import
【文件预览】：
scrapy-puppeteer-master
----.gitignore(1KB)
----setup.cfg(261B)
----requirements()
--------requirements-test.txt(123B)
--------requirements.txt(24B)
----LICENCE(1KB)
----README.md(4KB)
----Pipfile.lock(30KB)
----tests()
--------test_middlewares.py(2KB)
--------__init__.py(0B)
----Pipfile(232B)
----scrapy_puppeteer()
--------http.py(969B)
--------middlewares.py(3KB)
--------cli.py(308B)
--------__init__.py(80B)
----MANIFEST.in(38B)
----setup.py(993B)
----.travis.yml(334B)