文件名称：scrapy-html-storage:Scrapy下载器中间件，将响应HTML存储到磁盘
文件大小：8KB
文件格式：ZIP
更新时间：2024-05-30 22:16:48
python middleware scrapy Python
关于 这是Scrapy下载器中间件，用于将响应HTML存储到磁盘。 用法 打开下载器，例如在settings.py中指定它： DOWNLOADER_MIDDLEWARES = { 'scrapy_html_storage.HtmlStorageMiddleware': 10, } 默认情况下，任何响应都不会保存到磁盘。 您必须选择将针对哪些请求保存响应HTML： def parse(self, response): """Processes start urls. Args: response (HtmlResponse): scrapy HTML response object. """ yield scrapy.Request( 'http://target.com', call
【文件预览】：
scrapy-html-storage-master
----requirements()
--------dev.txt(103B)
----README.rst(2KB)
----LICENSE.txt(1KB)
----scrapy_html_storage()
--------__init__.py(3KB)
--------filesys.py(1KB)
----CHANGELOG.rst(631B)
----.travis.yml(142B)
----setup.cfg(41B)
----setup.py(438B)
----Makefile(493B)
----tests()
--------test_html_storage_middleware.py(5KB)
----.gitignore(26B)