说明:本例主要采集日志文件到kafka为例
filebeat简述
Filebeat是一个日志文件托运工具,在服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读)
Filebeat工作流程:当开启filebeat程序时,它会启动一个或多个探测器(prospectors)去检测你指定的日志目录或文件,对于探测器找出的每一个日志文件,filebeat启动收割进程(harvester),每一个收割进程读取一个日志文件的新内容,并发送这些新的日志数据到处理程序(spooler),处理程序会集合这些事件,最后filebeat会发送集合的数据到你指定的地点。
使用:
1、解压安装包,不需要安装,直接可以使用
2、filebeat.yml文件配置:
#=========================== Filebeat inputs =============================
filebeat.inputs:
- input_type: log
enabled: true
paths:
- c:\Users\15324\Desktop\log1\u_ex*.log
- c:\Users\15324\Desktop\log2\u_ex*.log
#=========================== kafka output =============================
output.kafka:
hosts: ["10.0.0.212:6667","10.0.0.213:6667","10.0.0.219:6667"]
topic: test-topic1
required_acks: 1
#=========================== 其他 output =============================
注:(其他配置不做用修改)日志输出格式:json
3、开启kafka控制台consumer:
命令:kafka-console-consumer.sh --zookeeper hdp01:2181, hdp02:2181,hdp03:2181 --topic test-topic1 --from-beginning
4、启动命令:filebeat -e -c filebeat.yml
-e:关闭日志输出
-c:配置文件位置
4、kafka控制台日志输出: