文件名称:proxy-middleware:从设置中读取代理配置的Scrapy中间件
文件大小:4KB
文件格式:ZIP
更新时间:2024-06-05 09:56:45
Python
代理中间件 从设置中读取代理配置的Scrapy中间件。 内容 pip install proxy-middleware 从设置文件设置代理的中间件。 用法:将其添加到scrapy设置中的DOWNLOADER_MIDDLEWARES中: DOWNLOADER_MIDDLEWARES = { 'proxy_middleware.ProxyFromSettingsMiddleware': 10, ... 通过HTTP_PROXY和HTTPS_PROXY设置变量传递代理配置。 HTTPPROXY_AUTH_ENCODING也被尊重: scrapy crawl my-spider -s HTTP_PROXY=http://localhost:8118 一个仅代理TOR站点请求的中间件(域以“ .onion”结尾)。 用法:将其添加到scrapy设置中的DOWNLOADER_
【文件预览】:
proxy-middleware-master
----MANIFEST.in(39B)
----README.rst(1KB)
----proxy_middleware()
--------middleware.py(1KB)
--------__init__.py(25B)
----LICENSE.txt(1KB)
----setup.py(1KB)
----CHANGES.rst(159B)
----.gitignore(73B)