Downloader Middleware

时间：2020-12-20 19:34:27

downloader middleware作用：改写请求，如加入代理，加入头部等；处理异常等。

# downloadMiddleware举例, 加代理

# 这里的类如果已经重新设置名称,记得在settings里面开启的时候改成这个名称

class ProxyMiddleware(object):

    # logging模块负责输出调试信息,记录程序错误等

    logger = logging.getLogger(__name__)

    # process_request如果返回

    # 1: 如果返回None, 则对整个环节没什么影响,会继续执行其他操作

    # 2: 如果返回response,则不再调用其他中间键的process_request,而是直接调用process_response,直接处理该方法返回的response

    # 3: 如果返回request,则把request重新放到调度队列,进行循环调用

    # 4: 如果返回IgnoreRequest异常,则会启用异常处理方法

    # 一:改写请求过程

    # 对请求环节进行重写,这一切发生在请求之前,比如加一个头部或者代理,用来控制程序如何请求

    # 处理request环节,如加代理

    # def process_request(self, request, spider):

    #     self.logger.debug('Using proxy...')

    #     # 在这里即把一个键为proxy赋值给meta,meta相当于一个容器,在这里存放代理ip

    #     request.meta['proxy'] = 'http://61.52.157.66:53281'

    #

    # 二:改写结果

    # process_response如果返回

    # 1:如果返回response,对其他中间键没什么影响,其他会照常执行

    # 2:如果返回Request,则会重新发起请求,加入到调度中心

    # 3:如果返回IgnoreRequest exception,则会调用异常处理的方法

    # 以下为处理response环节,比如改写response的状态码

    def process_response(self, request, response, spider):

        response.status_code = 201

        return response

    # 三:异常处理

    # process_exception异常处理

    # 1: 如果返回None,则不影响其他操作,继续执行process_exception

    # 2: 如果返回response,表明已经成功返回,那么就会执行其他中间键的process_response

    # 3: 如果返回request,则把request重新加入到调度队列,可以利用这一点进行失败重试

    def process_exception(self, request, exception, spider):

        # 我们这里建立捕捉到异常后进行重新发起请求,记得 改settings里面的ROBOTSTXT_OBEY = False

        # 用self.logger输出调试信息,代表此时已经出错了

        self.logger.debug('已经出错了')

        self.logger.debug('开始尝试代理')

        # 这时将,request重新设置一下,传入meta的新代理地址,返回的全新的request会重新加入到队列进行请求

        request.meta['proxy'] = 'http://1.255.53.81:80'

        return request

       #异常处理对应的spider

class GoogleSpider(scrapy.Spider):

    name = "google"

    allowed_domains = ["www.google.com"]

    start_urls = ['http://www.google.com/']

    # 我们还记得有了start_url, 默认是由start_request遍历start_urls列表,并且调用make_request_from_url,进行请求

    # 这里重新写了make_request_from_url,里面的参数进行重新加载,设置如果超时时间为10秒,如果超出10秒,则会抛出异常

    # 如果请求不到,终端会频繁打出retry,可以在settings里面禁止,设置方法为:'scrapy.downloadermiddlewares.retry.RetryMiddleware':None,

    def make_requests_from_url(self, url):

        self.logger.debug('第一次请求')

        return scrapy.Request(url=url, meta={'download_timeout':10},callback=self.parse,dont_filter=True)

    def parse(self, response):

        print(response.text)

相关文章