文件名称：kafka-spark-consumer
文件大小：70KB
文件格式：ZIP
更新时间：2024-05-22 04:08:32
Java
Kafka-Spark-Consumer的自述文件 注意：此Kafka Spark使用者代码取自Apache Storm项目（ ）的Kafka喷口，该喷嘴最初是由wurstmeister（ ）。 原始的Storm Kafka Spout代码已被修改以与Spark Streaming一起使用。 该实用程序将帮助使用Spark Streaming从Kafka提取消息，并更好地处理Kafka偏移并处理故障。 该使用者已经实现了一个自定义可靠接收器，该接收器使用Kafka使用者API从Kafka中获取消息，并将每个接收到的块存储在Spark BlockManager中。 该逻辑将自动检测主题的分区数，并根据配置的接收器数量产生尽可能多的Kafka接收器。 每个接收器都可以从一个或多个Kafka分区中获取消息。 例如，如果Kafka有一个Topic的100个分区，而Spark Consume
【文件预览】：
kafka-spark-consumer-master
----.gitignore(20B)
----README.md(22KB)
----pom.xml(6KB)
----examples()
--------scala()
----LICENSE(10KB)
----src()
--------test()
--------main()
----NOTICE(172B)