文件名称：scrapy-distributed:Scrapy的一系列分布式组件。 包括用于Scrapy的基于RabbitMQ的组件，基于Kafka的组件和基于RedisBloom的组件
文件大小：44KB
文件格式：ZIP
更新时间：2024-05-29 17:20:54
python redis crawler kafka spider
粗糙分布 Scrapy-Distributed是一系列组件，可让您轻松地基于Scrapy开发分布式爬虫。 现在！ Scrapy-Distributed支持RabbitMQ Scheduler ， Kafka Scheduler和RedisBloom DupeFilter 。 您可以非常轻松地在Scrapy的项目中使用其中任何一个。 特征 RabbitMQ调度程序 支持自定义声明RabbitMQ的队列。 例如passive ， durable ， exclusive ， auto_delete和所有其他选项。 RabbitMQ管道 支持自定义为蜘蛛项目声明RabbitMQ的队列。 例如passive ， durable ， exclusive ， auto_delete和所有其他选项。 Kafaka Scheduler 支持自定义声明Kafka的主题。 如num_partitions
【文件预览】：
scrapy-distributed-master
----MANIFEST.in(33B)
----.github()
--------workflows()
----scrapy_distributed()
--------schedulers()
--------amqp_utils()
--------queues()
--------pipelines()
--------spiders()
--------dupefilters()
--------redis_utils()
--------__init__.py(0B)
--------common()
--------middlewares()
----examples()
--------rabbitmq_example()
--------kafka_example()
----setup.py(2KB)
----.gitignore(2KB)
----README.md(5KB)
----requirements-install.txt(76B)