文件名称：scrapy-source-ip:使用http中描述的内容实现的简单scrapy下载器
文件大小：5KB
文件格式：ZIP
更新时间：2024-07-03 20:50:15
Python
scrapy-source-ip 实现描述的简单scrapy下载器 它允许将特定的 ip 绑定到用于抓取网站的请求。 因此，例如，如果您有 2 个网络接口，则可以指定要使用的特定接口。 在 settings.py 中： BIND_IP_ADDRESS=("192.168.1.1", 0) DOWNLOADER_MIDDLEWARES = { 'scrapy_source_ip.middleware.HttpIpBindMiddleware':1, } 修改后的scrapy核心文件在files中，复制到： $SCRAPY_HOME/core/downloader/handlers/http.py $SCRAPY_HOME/core/downloader/webclient.py
【文件预览】：
scrapy-source-ip-master
----scrapy_source_ip()
--------middleware.py(378B)
--------__init__.py(0B)
----.gitignore(303B)
----README.md(630B)
----files()
--------http.py(1KB)
--------webclient.py(6KB)