filebeat windows安装使用

时间:2024-04-12 12:29:37

                                                            说明:本例主要采集日志文件到kafka为例

filebeat简述

      Filebeat是一个日志文件托运工具,在服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读)

      Filebeat工作流程:当开启filebeat程序时,它会启动一个或多个探测器(prospectors)去检测你指定的日志目录或文件,对于探测器找出的每一个日志文件,filebeat启动收割进程(harvester),每一个收割进程读取一个日志文件的新内容,并发送这些新的日志数据到处理程序(spooler),处理程序会集合这些事件,最后filebeat会发送集合的数据到你指定的地点。

使用:

1、解压安装包,不需要安装,直接可以使用

2、filebeat.yml文件配置:

#=========================== Filebeat inputs =============================

filebeat.inputs:
    - input_type: log
    enabled: true
    paths:
         - c:\Users\15324\Desktop\log1\u_ex*.log
         - c:\Users\15324\Desktop\log2\u_ex*.log

#=========================== kafka output =============================
output.kafka:
    hosts: ["10.0.0.212:6667","10.0.0.213:6667","10.0.0.219:6667"]
    topic: test-topic1
    required_acks: 1

#=========================== 其他 output =============================

注:(其他配置不做用修改)日志输出格式:json

3、开启kafka控制台consumer:

命令:kafka-console-consumer.sh --zookeeper hdp01:2181, hdp02:2181,hdp03:2181 --topic test-topic1 --from-beginning

4、启动命令:filebeat -e -c filebeat.yml

-e:关闭日志输出

-c:配置文件位置

filebeat windows安装使用

4、kafka控制台日志输出:

filebeat windows安装使用