【文件属性】：
文件名称：scrapy-distributed:Scrapy的一系列分布式组件。 包括用于Scrapy的基于RabbitMQ的组件，基于Kafka的组件和基于RedisBloom的组件
文件大小：44KB
文件格式：ZIP
更新时间：2021-05-09 23:34:14
python redis crawler kafka spider
粗糙分布
Scrapy-Distributed是一系列组件，可让您轻松地基于Scrapy开发分布式爬虫。
现在！ Scrapy-Distributed支持RabbitMQ Scheduler ， Kafka Scheduler和RedisBloom DupeFilter 。 您可以非常轻松地在Scrapy的项目中使用其中任何一个。
特征
RabbitMQ调度程序
支持自定义声明RabbitMQ的队列。 例如passive ， durable ， exclusive ， auto_delete和所有其他选项。
RabbitMQ管道
支持自定义为蜘蛛项目声明RabbitMQ的队列。 例如passive ， durable ， exclusive ， auto_delete和所有其他选项。
Kafaka Scheduler 支持自定义声明Kafka的主题。 如num_partitions
【文件预览】：
scrapy-distributed-master
----MANIFEST.in(33B)
----.github()
--------workflows()
----scrapy_distributed()
--------schedulers()
--------amqp_utils()
--------queues()
--------pipelines()
--------spiders()
--------dupefilters()
--------redis_utils()
--------__init__.py(0B)
--------common()
--------middlewares()
----examples()
--------rabbitmq_example()
--------kafka_example()
----setup.py(2KB)
----.gitignore(2KB)
----README.md(5KB)
----requirements-install.txt(76B)