langolier:一个简单的 ElasticSearch 索引器

时间:2024-07-21 10:44:19
【文件属性】:

文件名称:langolier:一个简单的 ElasticSearch 索引器

文件大小:7KB

文件格式:ZIP

更新时间:2024-07-21 10:44:19

JavaScript

朗格利尔 注意:Langolier 是一种庞大的 hack,用于解决我最终要构建到不同的、更强大的服务中的功能。 概述 是一个快速/轻量级的 SQS 队列处理器,可以轻松地将任意数据索引到 ElasticSearch(例如由生成的数据)。 将 Langolier 指向 Amazon SQS 队列以供使用,并指向 ElasticSearch 实例以进行索引。 工作人员池执行长轮询、批量检索(默认为 AWS SQS 当前最大值为“10”)和批量索引到 ElasticSearch。 只有在成功建立索引后才会从队列中删除消息。 Langolier 会生成消息内容哈希 ID,以防止由于多个生产者发送或多个队列交付场景而导致同一项目在 ElasticSearch 中存储两次。 虽然 Langolier 旨在用于临时收集作业,但它可以垂直扩展(通过节点集群模块跨多个核心 - 请参阅“setting


【文件预览】:
langolier-master
----settings.js(632B)
----package.json(390B)
----langolier.js(8KB)
----README.md(8KB)
----utils()
--------redis-unloader.py(201B)

网友评论