使用elk转存储日志

时间:2023-03-09 21:38:32
使用elk转存储日志

ELK指的是由Elastic公司提供的三个开源组件Elasticsearch、Logstash和Kibana。

  Logstash:开源的服务器端数据处理管道,能够同时 从多个来源采集数据、转换数据,然后将数据发送到您最喜欢的 “存储库” 中。(我们的存储库当然是 Elasticsearch。)

  Elasticsearch:一个分布式的 RESTful 风格的搜索和数据分析引擎。

  Kibana:能够可视化 Elasticsearch 中的数据并操作 Elastic Stack(ELK Stack从5.x开始称作Elastic Stack)

本文介绍ELK在win10 64ibit系统下的安装和简单配置,更多信息见:

  Elastic官网

  官方文档

  elasticsearch中文文档

注:ELK6.x需要java 8,不支持java 9

Logstash安装:

  下载地址:https://www.elastic.co/cn/downloads/logstash

  下载zip文件并解压文件到你的磁盘中,接下来让我们来验证安装是否正确。通过cmd切换到安装目录下,运行一个最基础的logstash pipeline:

使用elk转存储日志

输入logstash -e "" 之后, 稍等片刻,logstash开始启动。在信息的末尾会出现如下提示:

使用elk转存储日志

我们输入“hello”后键入回车键,会发现控制台信息更新,内容如下。

使用elk转存储日志

看到这里,我们的安装就成功了。

logstash命令行支持两种方式加载配置项

logstash -e

  logstash -e "" 等同于 logstash -e "input {stdin {}} output {stdout { codec => rubydebug }}"

logstash -f 

  加载指定配置文件,启动logstash,如 H:\elk\logstash-6.1.1\bin>logstash -f ../logstash-test.conf

更多配置,使用logstash -f 或logstash -f或者logstash --help查看。

logstash pipeline有两个必备元素,input and output,还有一个可选元素filter.通过input插件载入数据,filter插件按照指定修改数据,最后使用output将数据输出在指定的位置。

使用elk转存储日志

下面是一个简单的logstash.conf示例,将指定目录下符合匹配规则的文件,转存储到elasticsearch :

input {
  file {
    path =>["D:/logs/**/*.log*","D:/logs/**/*.log"]#指定输入文件路径,支持数组
    #add_field => {"test"=>"test"} #添加自定义字段
    #tags => "tag1" #标签
    #exclude => "xxx.log" #排除文件
    start_position => "beginning" #监听文件的起始位置
    sincedb_path => "NUL" #logstash默认是增量读取的,此项配置表示文件读取进度的记录。在window下值为"NUL",linux下为"/dev/null"时,表示每次都从头开始读取文件,在正式环境中一定要关闭
    codec => multiline { 
      pattern => "^\[" #正则匹配条件,作为判断是否和前一行合并的依据
      negate => true #boolean类型,设置正向匹配还是反向匹配,默认是false,可选
      what => "previous" #设置未匹配的内容是向前合并还是向后合并,previous, next 两个值选择,必选
    }
  }
}
output {
  elasticsearch {
    hosts => "localhost:9200" #指定转存储目标,我们使用的是elasticsearch
  }
}
好吧,我们的elasticsearch还没有安装接下来我们下载并安装elasticsearchkibana
各自解压后进入elasticsearch的config目录,修改elasticsearch.yml,放开network.host的注释,指定一个ip以通知其他应用。我这里设置成0.0.0.0。
修改kibana下的kibana.yml,设置elasticsearch.url为"http://localhost:9200"。
依次启动elasticsearch,kibana,然后使用上面的配置文件启动logstash
使用elk转存储日志
使用elk转存储日志
使用elk转存储日志
访问http://localhost:5601
使用elk转存储日志
使用discover,可以看到message中可以看到包含多行日志的message。