scrapy_cookie禁用_延迟下载_自定义爬虫setting

时间:2023-03-09 04:37:29
scrapy_cookie禁用_延迟下载_自定义爬虫setting

如何设置禁止cookie?

在setting中 添加字段:

COOKIE_ENABLED = False                            # False关闭cookie,True打开

如何设置下载限速?

在setting中 添加字段:

TELNETCONSOLE_ENABLED = False            # 默认为0

如何动态设置下载速度?

DOWLAND_DELAY = 0                                  # 默认为0

如何给不同的spider设置不同的setting值?

在每个spider类中添加一个字段,和name同级,字典形式:

custom_settings = {

    COOKIE_ENABLED = True

  }

  spider启动的时候,用这个custom_settings更新整个全局设置