文件名称：Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
文件大小：366KB
文件格式：DOCX
更新时间：2021-03-28 04:56:34
Flume Kafka HDFS 日志数据采集 存储
自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
【文件属性】：
网友评论
- 这个的flume消费Kafka的offset没有维护啊
- 这个网上有教程步骤一样 你这里并没有多什么，另外就是晚上最不详细的就是 SPARK 写kafka 消费者并打包发送上去运行着一下测试步骤你没有
- 还好，参考下总没坏处
- 可以有参考价值
- 可能不需要spark吧
- 很详细，还在看