文件名称:kafka-effective:更有效地使用apache kafka消费者和生产者
文件大小:14KB
文件格式:ZIP
更新时间:2024-05-22 10:34:18
Java
kafka-effective use apache kafka consumer and producer more effectively 为什么做这个项目 之前一直在项目中使用kafka原生的Consumer和Producer API,但总是觉得有点不方便: 初始化加载的时候比较繁琐 使用Consumer的高级API无法真正实现批量处理(低级API超复杂又不会用T_T) 每次部署一个新topic都会进行很多重复的配置工作 后来读了flume中有关与kafka集成的代码(org.apache.flume.source.kafka.KafkaSource),觉得其中使用kafka Consumer的方式比较合理,可以实现消息的批处理,所以就参考并封装了一下,变得更加通用,形成了这个项目。目前已经被应用于我们的线上服务中,用来处理每天大量的用户数据流和Feed数据流。 用法 BatchCo
【文件预览】:
kafka-effective-master
----src()
--------test()
--------main()
----README.md(3KB)
----pom.xml(1KB)
----.gitignore(2KB)