文件名称：kafka-to-hdfs:将来自 Kafka 主题的消息通过管道传输到 HDFS
文件大小：16KB
文件格式：ZIP
更新时间：2024-07-10 12:20:20
Java
kafka 到 hdfs 将来自主题的消息通过管道传输到 HDFS。 大纲 这比的简单得多，但它可以完成从 Kafka 到 HDFS 的简单加载。 这对于在一段时间内获取 Kafka 主题的实时样本非常有用，以便稍后在其上运行 MapReduce。 用法 给定一个 Kafka 主题，程序会将其以给定的文件名流式传输到 HDFS。 每次写入--messages.per.file中定义的消息数时，它都会创建新文件。 必需参数 --zookeeper.host e.g. zookeeper1 --output.path e.g. hdfs://hdfs-cluster:9000/user/me/tweets.txt --hdfs.site.xml e.g. /Users/me/libraries/hadoop-2.6.0/etc/hadoop/hdfs-site
【文件预览】：
kafka-to-hdfs-master
----.travis.yml(33B)
----pom.xml(2KB)
----src()
--------test()
--------main()
----.gitignore(579B)
----README.md(1KB)