kafka-elasticsearch-standalone-consumer:Kafka Standalone Consumer [Indexer]将分批读取来自Kafka的消息,然后将其处理并批量索引为ElasticSearch

时间:2024-05-24 17:36:24
【文件属性】:

文件名称:kafka-elasticsearch-standalone-consumer:Kafka Standalone Consumer [Indexer]将分批读取来自Kafka的消息,然后将其处理并批量索引为ElasticSearch

文件大小:289KB

文件格式:ZIP

更新时间:2024-05-24 17:36:24

Java

欢迎来到kafka-elasticsearch-standalone-consumer Wiki! kafka-elasticsearch-standalone-consumer的体系结构[索引器] 该项目已移至以下存储库 请参阅 介绍 Kafka Standalone Consumer [Indexer]将分批读取来自Kafka的消息,然后将其处理并批量索引为ElasticSearch。 如上图所示,这是索引器的工作方式: Kafka有一个名为Topic1的主题 可以说, Topic1有5个分区。 在配置文件kafka-es-indexer.properties中,设置firstPartition = 0和lastPartition = 4属性 如下所述启动索引器应用程序 将启动5个线程,每个分区的每个使用者一个 当将新分区添加到kafka主题时-必须更新配置并且必须重新启动索引器应


【文件预览】:
kafka-elasticsearch-standalone-consumer-branch2.0
----.gitignore(116B)
----src()
--------main()
--------test()
----.classpath(1KB)
----LICENSE(10KB)
----pom.xml(5KB)
----README.md(6KB)
----NOTICE(85B)
----img()
--------Kafka_ES_Illustration_New.png(62KB)
--------IndexerV2Design.jpg(60KB)
--------Kafka_ES_Illustration.png(62KB)
--------IndexerV2Design.pptx(97KB)
----run_indexer.sh(1KB)

网友评论