提高scrapy的爬取速度

【文件属性】：
文件名称：提高scrapy的爬取速度
文件大小：18KB
文件格式：DOCX
更新时间：2021-10-27 08:52:57
user agent池 IP池 多线程 爬取大量数据的时候，爬取速度显著影响着爬取用时，总结一下我在使用scrapy的时候用来提升爬取速度的方法。scrapy网络请求是基于Twisted，而Twisted默认支持多线程，而且scrapy默认也是通过多线程请求的，并且支持多核CPU的并发，我们通过一些设置提高scrapy的并发数可以提高爬取速度。