【文件属性】：
文件名称：Direct-Kafka-Stream:直接卡夫卡流
文件大小：11KB
文件格式：ZIP
更新时间：2021-05-09 23:28:10
Scala
Direct-Kafka-Stream，数据丢失为零
代理9或9+的Direct-Kafka-Stream
火花检查点
当您使用从Spark到Kafka的直接流时，Spark使用Kafka的简单使用者API，并且不会更新ZooKeeper中的偏移量，这意味着，当您的应用程序重新启动时，它将从队列末尾开始使用该主题。 在应用程序未运行时产生的任何消息都不会被处理。
在视觉上，您的Spark作业使用队列中的消息，然后停止（已处理的消息标记为“ o”，未处理的消息标记为“ O”）：
Initial instance stops here
|
v
| o | o | o | o | O | O | ------------------>
新实例处理标记为“ x”的消息，但保留一些未处理的消息（“ O”）：
Initial instance stopped he
【文件预览】：
Direct-Kafka-Stream-master
----pom.xml(4KB)
----.settings()
--------org.eclipse.m2e.core.prefs(90B)
--------org.scala-ide.sdt.core.prefs(209B)
--------org.eclipse.jdt.core.prefs(430B)
----src()
--------main()
----.project(622B)
----.classpath(1KB)
----.gitignore(8B)
----README.md(12KB)