文件名称:flume.kafka:基于新 Kafka Producer 的 Flume kafka sink,可配置
文件大小:19KB
文件格式:ZIP
更新时间:2024-06-25 13:42:59
Java
卡夫卡 基于新 Kafka Producer 的 Flume kafka sink,高性能且可配置。 它依赖于很少的项目/库,只有 Flume 1.5.2 kafka-clients-0.8.2.1 或更高版本,slf4j。 类似于 Flume 1.6 KafkaSink,但这里有一些不同: Flume 1.6 不是基于新的 Produce Config KafkaProducer 是线程安全的,因此如果 KafkaProducer Config 相同,则可以使用相同的生产者。 为KafkaProducer方法添加Callback,可以立即处理发送失败的情况,并获得更多的调试信息。 发送事件,而不是从通道中获取所有事件,然后发送所有事件,因为我认为当事件批量很大时会花费很多时间(对不起,我有足够的资源来测试这种情况)。目前,只是实现KafkaSink。实现参照了Flume 1.6
【文件预览】:
flume.kafka-master
----.gitattributes(378B)
----src()
--------test()
--------main()
----README.md(2KB)
----pom.xml(4KB)
----.gitignore(627B)