提高scrapy的爬取速度

【文件属性】：

文件名称：提高scrapy的爬取速度

文件大小：18KB

文件格式：DOCX

更新时间：2021-10-27 08:52:57

user agent池 IP池 多线程

爬取大量数据的时候，爬取速度显著影响着爬取用时，总结一下我在使用scrapy的时候用来提升爬取速度的方法。scrapy网络请求是基于Twisted，而Twisted默认支持多线程，而且scrapy默认也是通过多线程请求的，并且支持多核CPU的并发，我们通过一些设置提高scrapy的并发数可以提高爬取速度。