文件名称：scrapy-mongodb-queue:Scrapy MongoDB队列
文件大小：6KB
文件格式：ZIP
更新时间：2024-06-07 18:13:34
Python
Scrapy MongoDB队列 基于MongoDB的scrapy组件，允许分布式爬网 可用的Scrapy组件 排程器 复制过滤器 安装 来自pypi $ pip install git+https://github.com/jbinfo/scrapy-mongodb-queue 来自github $ git clone https://github.com/jbinfo/scrapy-mongodb-queue.git $ cd scrapy-mongodb-queue $ python setup.py install 用法 在您的settings.py启用组件： # Enables scheduling storing requests queue in redis. SCHEDULER = "scrapy_mongodb_queue.schedule
【文件预览】：
scrapy-mongodb-queue-master
----scrapy_mongodb_queue()
--------dupefilter.py(2KB)
--------__init__.py(0B)
--------connection.py(376B)
--------scheduler.py(3KB)
----LICENSE(1KB)
----setup.cfg(142B)
----requirements.txt(15B)
----setup.py(580B)
----.gitignore(702B)
----README.md(1KB)