【文件属性】：
文件名称：Scrapy分布式原理.key
文件大小：1.79MB
文件格式：KEY
更新时间：2023-04-24 12:36:03
scrapy redis
分布式爬虫架构，Scrapy分布式原理.scrapy，redis在每台从机Scrapy启动时都会首先判断当前Redis Request队列是否为空。
如果不为空，则从队列中取得下一个Request执行爬取。
如果为空，则重新开始爬取，第一台从机执行爬取向队列中添加Request。