文件名称:KafkaStreamAgg:使用Flink和Redis对从Kafka读取的流执行实时聚合
文件大小:10KB
文件格式:ZIP
更新时间:2024-05-17 16:24:02
Java
KafkaStreamAgg 使用Flink和Redis对从Kafka读取的流执行实时聚合。 它当前在一个时间窗口(20s)内计算唯一性计数,并使用HLL(HyperLogLog)在多个时间间隔内发出近似的唯一性计数。 来源是Kafka主题,这些事件作为事件流被吸收 聚合引擎是Flink 计数存储在Redis中 近似计数由Redis公开的HLL方法提供 设置 :- 安装Kafka(kafka_2.11-1.0.0) 安装Redis(4.0.10) 启动zookeeper-> ./bin/zookeeper-server-start.sh ./config/zookeeper.properties 启动Kafka服务器-> ./bin/kafka-server-start.sh ./config/server.properties 创建一个Kafka主题-> bin / ka
【文件预览】:
KafkaStreamAgg-master
----.gitignore(308B)
----README.md(2KB)
----pom.xml(2KB)
----streaming.properties(69B)
----src()
--------main()