使用过scrapy_redis框架的人一定知道，scrapy redis 在没有requests的时候，会阻塞等待接收start_url，程序无法自动结束。那如何自动停止程序，结束空跑呢？？？
下面是通过设置超时时间来结束空跑，如果你启动爬虫后没有接受初始爬取页面，也会在超时后关闭爬虫。主要在项目的设置文件settings.py进行设置及同级目录再添加一个文件extensions.py来解决
spider_idle 信号
scrapy.signals.spider_idle(spider)
当spider进入空闲(idle)状态时该信号被发送。空闲意味着:
requests正在等待被下载
requests被调度
items正在item pipeline中被处理
当该信号的所有处理器(handler)被调用后，如果spider仍然保持空闲状态， 引擎将会关闭该spider。当spider被关闭后， spider_closed 信号将被发送。
您可以，比如，在 spider_idle 处理器中调度某些请求来避免spider被关闭。
该信号 不支持 返回deferreds。
参数: spider (Spider 对象) – 空闲的spider了解了spider_idle 信号，大家有嗅到什么么？
对于scrapy_reids为何不能自动停止， scrapy_redis源码是这样的：
def spider_idle(self):
"""Schedules a request if available, otherwise waits."""
# XXX: Handle a sentinel to close the spider.
self.schedule_next_requests() # 这里调用schedule_next_requests() 来从redis中生成新的请求
raise DontCloseSpider # 抛出不要关闭爬虫的DontCloseSpider异常，保证爬虫活着
现在应该都清楚了吧，是因为scrapy_redis 从来不关闭spider。按照这个逻辑，我们可以在spider_idle 里加入自己的想法，比如 半个小时之后 spider还是空闲并且不存在redis key，那我们就发出close spider的信号，这样不就可以自如关闭爬虫了么？
具体我们可以使用 scrapy 框架中的 Extensions。具体如何使用文档很清楚。接下来，贴上具体解决方法。
在settings.py 同级 创建extensions.py，写入：
# -*- coding: utf-8 -*-
# Define here the models for your scraped Extensions
from scrapy import signals
from scrapy.exceptions import NotConfigured
class RedisSpiderSmartIdleClosedExensions(object):
def __init__(self, idle_number, crawler):
self.crawler = crawler
self.idle_number = idle_number
self.idle_list = []
self.idle_count = 0
@classmethod
def from_crawler(cls, crawler):
# first check if the extension should be enabled and raise
# NotConfigured otherwise
if not crawler.settings.getbool('MYEXT_ENABLED'):
raise NotConfigured
if not 'redis_key' in crawler.spidercls.__dict__.keys():
raise NotConfigured('Only supports RedisSpider')
# get the number of items from settings
idle_number = crawler.settings.getint('IDLE_NUMBER', 360)
# instantiate the extension object
ext = cls(idle_number, crawler)
# connect the extension object to signals
crawler.signals.connect(ext.spider_opened, signal=signals.spider_opened)
crawler.signals.connect(ext.spider_closed, signal=signals.spider_closed)
crawler.signals.connect(ext.spider_idle, signal=signals.spider_idle)
return ext
def spider_opened(self, spider):
spider.logger.info("opened spider {}, Allow waiting time:{} second".format(spider.name, self.idle_number*5))
def spider_closed(self, spider):
spider.logger.info("closed spider {}, Waiting time exceeded {} second".format(spider.name, self.idle_number*5))
def spider_idle(self, spider):
# 程序启动的时候会调用这个方法一次，之后每隔5秒再请求一次
# 当持续半个小时都没有spider.redis_key，就关闭爬虫
# 判断是否存在 redis_key
if not spider.server.exists(spider.redis_key):
self.idle_count += 1
else:
self.idle_count = 0
if self.idle_count > self.idle_number:
# 执行关闭爬虫操作
self.crawler.engine.close_spider(spider, 'Waiting time exceeded')
在settings 配置如下：
MYEXT_ENABLED=True # 开启扩展
IDLE_NUMBER=360 # 配置允许的空闲时长，每5秒会增加一次IDLE_NUMBER，直到增加到360，程序才会close
# 在 EXTENSIONS 配置，**扩展
EXTENSIONS = {
'yourproject.extensions.RedisSpiderSmartIdleClosedExensions': 500,
},
测试结果如下：
windows和ubuntu爬虫端在开始爬取前 
windows和ubuntu爬虫端在爬完后 