Kafka发送消息到HDFS

本文采用的是kafka0.7.2，安装好kafka后在kafka的contrib目录下有关于kafka与hadoop的一系列文件，我们可以使用hadoop-consumer目录下的脚本及配置文件将kafka中某topic的信息发送到HDFS中。 1.修改test目录下的test.properties的配置文件。

kafka.etl.topic：topic的名称 hdfs.default.classpath.dir：hdfs的类路径 input：HDFS的输入路径 output：HDFS的输出路径 2.生成topic的offset 执行命令./run-class.sh kafka.etl.impl.DataGenerator test/test.properties，会在HDFS的/tmp/kafka/data目录下生成.dat的文件 3.复制kakfa的相关jar到HDFS的类路径 执行命令./copy-jars.sh /usr/lib/hadoop/lib 4.运行hadoop job ./run-class.sh kafka.etl.impl.SimpleKafkaETLJob test/test.properties,该job会将kafka中test-topic该话题的消息写入HDFS中。 在HDFS的/tmp/kafka/output目录中我们会看到写入的消息。