scrapy下载中间件

scrapy中内置了许多不错的下载中间件，可以按照需求合理使用在爬虫中，很简单

也可以自己编写，其中有方法process_request，process_response，process_exception可以在请求前，请求后与抛出异常时做处理

例如在请求前过滤url，加入黑名单，判断请求返回是否满足要求，不同异常的处理等

在使用scrapy爬虫时，与请求相关的条件都可以在中间件文件middleware.py中设置