关于scrapy 使用代理相关问题

在scrapy中使用代理时，我们不能保证每个代理都可用，难免出现代理ip错误的情况，如果代理ip出现错误设置一个请求超时和重新发送这个链接

在yield scrapy.Request时候加上一个参数：

meta={'download_timeout': 10}

代表请求超时为10秒

然后在settings中设置如下：

RETRY_ENABLED = True
RETRY_TIMES = 5

保存即可