es-processor:作业队列和处理程序

时间:2024-05-09 10:48:31
【文件属性】:

文件名称:es-processor:作业队列和处理程序

文件大小:7KB

文件格式:ZIP

更新时间:2024-05-09 10:48:31

Python

弹性工作经理 环境选项: ES_REDIS作业处理器使用的Redis uri es-pusher的ES_PUSHER REST端点 es-scraper的ES_SCRAPER REST端点 ES_RSS REST端点 ES_RSS_SCRAPE REST端点(es收集器),用于检索RSS feed和相应的用户 ES_RSS_SCRAPE_INTERVAL从es-collector检索RSS提要的时间间隔(如果您只想将此实例用于处理,则设置为0) ES_WORKER_COUNT要启动多少个工人(用于处理排队的作业) REST端点 将URL添加到作业队列。 以最高优先级处理 POST /add { "url": "url to add", "title": "if you want to, set a title here", "indexes": [1, 3,


【文件预览】:
es-processor-master
----.gitignore(35B)
----Dockerfile(105B)
----requirements.txt(43B)
----Readme.md(816B)
----processor()
--------scheduler.py(229B)
--------job.py(3KB)
--------__init__.py(2KB)
--------scraper.py(2KB)
--------helper.py(707B)
--------__main__.py(106B)
--------rss.py(3KB)
--------pusher.py(1KB)

网友评论