文件名称：spark-kafka-rdd:使Kafka成为Spark平台数据源的scala库
文件大小：14KB
文件格式：ZIP
更新时间：2024-06-19 18:36:59
Scala
Spark-Kafka-RDD Spark-Kafka-RDD是一个scala库，让Kafka成为Spark平台的数据源。 请注意，Spark-Kafka-RDD 从 Kafka 主题和分区中获取给定的偏移范围作为单个 RDD ( KafkaRDD ) 返回给 Spark 驱动程序，而不是生成 Spark 流框架所做的 Spark DStream 。 特征 Spark-Kafka-RDD 有几个有用的特性。 KafkaOffsetSeeker简化了 Kafka 偏移量搜索。 KafkaStream可以将 kafka 消息作为流获取。 给定代理列表， KafkaRDD自动查找主题和分区的领导者，并在领导者更改时进行处理。 当获取消息失败时， KafkaRDD自动重试。 KafkaRDD根据用户的配置自动将较大的偏移范围拆分为较小的偏移范围，以实现所有执行器之间更好的并行性和负载平
【文件预览】：
spark-kafka-rdd-master
----.gitignore(114B)
----project()
--------build.properties(19B)
----src()
--------main()
--------test()
----README.md(4KB)
----build.sbt(423B)