文件名称：FlumeNG——数据获取-海量数据处理-hive数据仓库
文件大小：2.57MB
文件格式：PPT
更新时间：2024-05-16 04:07:28
大数据 数仓 hive hadoop 海量数据处理
FlumeNG——数据获取 1）RPC 1、在flume中 ，Avro客户端使用AVRO RPC机制可以发送一个给定的文件 Avro 源： 2、$ bin/flume-ng avro-client -H localhost -p 41414 -F /usr/logs/log.10 3、上面的命令将发送的/ usr/logs/log.10的内容到 flume源监听端 2）Executing commands 1、还有一个exec执行一个给定的命令获得输出的源。一个单一的输出，即“line”。回车（'\ R'）或换行符（'\ N'），或两者一起的文本。 注：Flume不支持tail做为一个源，不过可以通过exec tail。 3）Network streams Flume支持以下的机制，从流行的日志流类型读取数据 1、Avro(数据序列化系统) 2、Syslog 3、Netcat(使用TCP或UDP协议的网络连接去读写数据)