文件名称：scrapy-requests:Scrapy中间件使用request-html处理javascript页面
文件大小：7KB
文件格式：ZIP
更新时间：2024-05-24 09:16:34
Python
拼命的要求 Scrapy中间件可使用request-html异步处理javascript页面。 request-html使用pyppeteer加载javascript页面，并为您处理用户代理规范。 使用requests-html非常直观和简单。 要求 Python> = 3.6 Scrapy> = 2.0 request-html 安装 pip install scrapy-requests 配置 扭曲使用Asyncio事件循环，并将RequestsMiddleware添加到下载器中间件 settings.py TWISTED_REACTOR = 'twisted.internet.asyncioreactor.AsyncioSelectorReactor' DOWNLOADER_MIDDLEWARES = { 'scrapy_requests.RequestsMid
【文件预览】：
scrapy-requests-main
----.travis.yml(391B)
----tests()
--------test_request.py(2KB)
--------__init__.py(0B)
----tox.ini(317B)
----LICENSE(1KB)
----setup.cfg(255B)
----requirements.txt(35B)
----setup.py(1KB)
----README.md(2KB)
----scrapy_requests()
--------request.py(706B)
--------middleware.py(2KB)
--------__init__.py(96B)