ELK日志分析系统

时间：2024-04-11 10:33:05

引言

随着业务量的增长，每天业务服务器将会产生上亿条的日志，单个日志文件达几个GB，这时我们发现用Linux自带工具，cat grep awk 分析越来越力不从心了，而且除了服务器日志，还有程序报错日志，分布在不同的服务器，查阅繁琐。

一、ELK简介

ELK是三个软件的统称，即Elasticsearch、Logstash和Kibana三个开源软件的缩写。这三款软件都是开源软件，通常配合使用，并且都先后归于Elastic.co企业名下，故被简称为ELK协议栈。ELK主要用于部署在企业架构中，收集多台设备上多个服务的日志信息，并将其统一整合后提供给用户。它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。

ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。

ELK官网网址如下：https://www.elastic.co/cn/

1、ELK日志分析系统组成

在ELK架构中，Elasticsearch、Logstash和Kibana三款软件作用如下：

  • elasticsearch (es) ：通过搭建群集;存储日志数据，索引日志数据
  • logstash ：收集日志，收集到了后给es存储
  • kibana ：视图形式展现日志信息，更加人性化

1.Elasticsearch（es）

Elasticsearch是一个高度可扩展的全文搜索和分析引擎，基于Apache Lucence（事实上，Lucence也是百度所采用的搜索引擎）构建，能够对大容量的数据进行接近实时的存储、搜索和分析操作。

2.Logstash

Logstash是一个数据收集引擎，它可以动态的从各种数据源搜集数据，并对数据进行过滤、分析和统一格式等操作，并将输出结果存储到指定位置上。Logstash支持普通的日志文件和自定义Json格式的日志解析。

3.Kibana

Kibana是一个数据分析和可视化平台，通常与Elasticsearch配合使用，用于对其中的数据进行搜索、分析，并且以统计图标的形式展示。

2、其他组件

1.Filebeat

轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式Filebeat 就能快速收集数据，并发送给 logstash 进行解析，或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。常应用于 EFLK 架构当中。（如果要使用过滤功能的话，Filebeat不能完全替代logstash，Filebeat没有过滤功能，收集数据后需要发送给 logstash 进行处理）。

2.Filebeat结合logstash好处：

  1. 通过 Logstash 具有基于磁盘的自适应缓冲系统，该系统将吸收传入的吞吐量，从而减轻 Elasticsearch 持续写入数据的压力
  2. 从其他数据源（例如数据库，S3对象存储或消息传递队列）中提取
  3. 将数据发送到多个目的地，例如S3，HDFS（Hadoop分布式文件系统）或写入文件
  4. 使用条件数据流逻辑组成更复杂的处理管道

3.缓存/消息队列(redis、kafka、RabbitMQ等)

可以对高并发日志数据进行流量削峰和缓冲，这样的缓冲可以一定程度的保护数据不丢失，还可以对整个架构进行应用解耦。

4.Fluentd

是一个流行的开源数据收集器。由于 logstash 太重量级的缺点，Logstash 性能低、资源消耗比较多等问题，随后就有 Fluentd 的出现。相比较 logstash，Fluentd 更易用、资源消耗更少、性能更高，在数据处理上更高效可靠，受到企业欢迎，成为 logstash 的一种替代方案，常应用于 EFK 架构当中。在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。
在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd，以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。 它通过获取容器日志文件、过滤和转换日志数据，然后将数据传递到 Elasticsearch 集群，在该集群中对其进行索引和存储。

3、日志服务器

1.优点

  • 提高安全性
  • 集中存放日志

2.缺点

  • 对日志的分析困难

4、日志处理步骤

  1. 将日志进行集中化管理
  2. 将日志格式化(Logstash)并输出到Elasticsearch
  3. 对格式化后的数据进行索引和存储(Elasticsearch)
  4. 前端数据的展示(Kibana)

5、为什么要使用ELK

  • 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
  • 往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用 grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
  • 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

6、完整日志系统基本特征

  • 收集：能够采集多种来源的日志数据
  • 传输：能够稳定的把日志数据解析过滤并传输到存储系统
  • 存储：存储日志数据
  • 分析：支持 UI 分析
  • 警告：能够提供错误报告，监控机制

二、Elasticsearch的介绍

1、Elasticsearch的概述

提供了一个分布式多用户能力的全文搜索引擎

2、Elasticsearch的核心概念

1.接近实时(NRT)

  • Elasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）

2.集群(cluster)

  • 一个集群就是由一个或者多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。其中一个为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索功能。
  • 集群有一个唯一性标示的名字，默认是Elasticsearch，集群的名字很重要，每个节点是基于集群名字加入到集群中的。因此，确保在不同的环境中使用不同的集群名字。
  • 一个集群可以只有一个节点，建议在配置Elasticsearch时，配置成集群模式。
  • Elasticsearch具有集群机制，节点通过集群名称加入到集群中，同时在集群中的节点会有一个自己唯一的身份标识（自己的名称）

3.节点(node)

  • 节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名。也可自己定义，名字很重要，在集群中用于识别服务器对应的节点
  •  节点可以通过指定集群名字来加入到集群中。默认情况下，每个节点被设置成加入到Elasticsearch集群。如果启动了多个节点，假设能自动发现对方，他们将会自动组建一个名为Elasticsearch的集群。

4.索引(index)

  • 一个索引就是一个拥有几分相似特征的文档的集合。
  •  一个索引由一个名字来标识（必须全部是小写字母），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候。都要使用到这个名字。在一个集群中，可以定义任意多的索引。

5.类型(type)

  • 在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。
  • 通常会为具有一组共同字段的文档定义一个类型。

6.文档(document)

  • 一个文档是一个可被索引的基础信息单元
  •  在一个index/type里面，只要你想，你可以存储任意多的文档。注意，虽然一个文档在物理上位于一个索引中，实际上一个文档必须在一个索引内被索引和分配一个类型

7.分片和副本(shards & replicas)

也是es作为搜索引擎比较快的原因

实际情况下，索引存储的数据可能超过单个节点的硬件限制。为了解决这个问题，Elasticsearch提供将索引分成多个分片的功能。当在创建索引时，可以定义想要的分片数量。每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上。

分片的主要原因

  1. 水平分割扩展，增大存储量
  2. 分布式并跨越分片操作，提高性能和吞吐量
  3.  分布式分片机制和搜索请求的文档如何火鬃完全是由Elasticsearch控制的，这些对用户是完全透明的。
  4.  为了健壮性，建议有一个故障切换机制，为此，Elasticsearch让我们将索引分片复制一份或多份，称之为分片副本

分片副本的原因

  1. 高可用性，以应对分片或者节点故障。处于这个原因，分片副本要在不同的节点上
  2. 增大吞吐量，搜索可以并行在所有副本上执行

总之，每个索引可以被分成多个分片。一个索引可以被复制0次或者多次。一旦复制了，每个索引就有了主分片 （作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和副本的数量可以在索引创建的时候指定。在索引创建之后，你可以在指定任何时候动态的改变副本的数量，但是你事后不能改变分片的数量。

 默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个副本，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外的5个副本分片（一个完全拷贝），这样的话每个索引总共有10个分片

三、Logstash的介绍

1、Logstash的概述

Logstash由JRuby语言编写，基于消息（message-based）的简单架构，并运行在java虚拟机（JVM）上。不同于分离的代理端（agent）或主机端（server），Logstash可配置单一的代理端与其他开源软件结合，以实现不同的功能。

  • 是一款强大的数据处理工具、
  • 可实现数据传输，格式处理，格式化输出
  • 数据输入、数据加工(如过滤，改写等)以及数据输出

2、Logstash的主要组件

  • Shipper(日志收集)：负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来。通常，远程代理端（agent）只需要运行这个组件即可
  • Indexer(日志存储)：负责接收日志并写入到本地文件
  • Broker(日志Hub)：负责连接多个Shipper和多个Indexer
  • Search and Storage：允许对事件进行搜索和存储
  • Web Interface：基于Web的展示界面

3、Logstash的常用选项

常用选项 说明
-f 通过这个选项可以指定 Logstash 的配置文件，根据配置文件配置 Logstash 的输入和输出流
-e 从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当做 Logstash 的配置（如果是空，则默认使用 stdin 作为输入，stdout 作为输出）
-t 测试配置文件是否正确，然后退出

4、Logstash的常用插件

  • input：收集源数据（访问日志、错误日志等）
  • Filter Plugin：用于过滤日志和格式处理
  • Output：输出日志

5、Logstash的操作流程

四、Kibana的介绍

1、Kibana的介绍

Kibana 是用于在 Elasticsearch 中可视化数据的强大工具，可通过基于浏览器的界面轻松搜索，可视化和探索大量数据。

  • 一个针对Elasticsearch的开源分析及可视化平台
  • 搜索、查看存储在Elasticsearch索引中的数据
  • 通过各种图表进行高级数据分析及展示

2、Kibana的主要功能

1.Elasticsearch无缝之集成

  • Kibana架构为Elasticsearch定制，可以将任何结构化和非结构化数据加入Elasticsearch索引。Kibana还充分利用了Elasticsearch强大的搜索和分析功能。

2.整合数据，复杂数据分析

  • Kibana能够更好地处理海量数据，并据此创建柱形图、折线图、散点图、直方图、饼图和地图。
  • 复杂数据分析。
  • Kibana提升了Elasticsearch分析能力，能够更加智能地分析数据，执行数学转换并且根据要求对数据切割分块。

3.让更多团队成员收益

强大的数据库可视化接口让各业务岗位都能够从数据集合受益。

4.接口灵活，分享更容易

使用Kibana可以更加方便地创建、保存、分享数据，并将可视化数据快速交流。

5.配置简单，可视化多数据源

Kibana的配置和启用非常简单，用户体验非常友好。Kibana自带Web服务器，可以快速启动运行。

Kibana可以非常方便地把来自Logstash、ES-Hadoop、Beats或第三方技术的数据整合到Elasticsearch，支持的第三方技术包括Apache flume、 Fluentd 等。

6.简单数据导出

Kibana可以方便地导出感兴趣的数据，与其它数据集合并融合后快速建模分析，发现新结果。

五、ELK的架构及工作原理

1、ELK的架构

2、ELK的工作原理

  1. 在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash。
  2. Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中。
  3. Elasticsearch 对格式化后的数据进行索引和存储。
  4. Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。

3、ELK的优点

  1. 处理方式灵活。 Elasticsearch是全文索引，具有强大的搜索能力。
  2. 配置相对简单。 Kibana的配置非常简单，Elasticsearch则全部使用Json接口，配置也不复杂，Logstash的配置使用模块的方式，配置也相对简单。
  3. 检索性能高。 ELK架构通常可以达到百亿级数据的查询秒级响应。
  4. 集群线性扩展。 Elasticsearch本身没有单点的概念，自动默认集群模式，Elasticsearch和Logstash都可以
  5. 灵活扩展。
  6. 页面美观。 Kibana的前端设计美观，且操作简单。

小总结：logstash作为日志搜集器，从数据源采集数据，并对数据进行过滤，格式化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处理。

六、部署ELK日志分析系统

Elasticsearch包下载地址: 

https://www.elastic.co/cn/downloads/past-releases/elasticsearch-5-5-0

1、环境准备

1.部署拓补图

服务器类型 系统和ip地址 需要安装的组件
node1节点 192.168.10.100 Elasticsearch 、 Kibana
node2节点 192.168.10.101 Elasticsearch
Apache 192.168.10.102 Logstash Apache

2.关闭所有服务的防火墙及核心防护

systemctl stop firewalld     ##关闭防火墙
setenforce 0                 ##关闭核心防护

3.修改主机名、配置域名解析

###node1节点(192.168.10.100)
[root@localhost ~]#hostnamectl set-hostname node1
[root@localhost ~]#bash
[root@node1 ~]#echo "192.168.10.100 node1" >> /etc/hosts
[root@node1 ~]#echo "192.168.10.101 node2" >> /etc/hosts
[root@node1 ~]#cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.100 node1
192.168.10.101 node2

###node2节点(192.168.10.101)
[root@localhost ~]#hostnamectl set-hostname node2
[root@localhost ~]#bash
[root@node2 ~]#echo "192.168.10.100 node1" >> /etc/hosts
[root@node2 ~]#echo "192.168.10.101 node2" >> /etc/hosts
[root@node2 ~]#cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.100 node1
192.168.10.101 node2

###Apache节点(192.168.10.102)
[root@localhost ~]#hostnamectl  set-hostname apache
[root@localhost ~]#bash

4.查看Java环境(在node1和node2上查看)

[root@localhost ~]#java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

2、部署ElasticSearch 软件(在node1、node2节点上操作)

1.安装elasticsearch-rpm包，并解压

#上传elasticsearch-5.5.0.rpm到/opt目录下
cd /opt
rz -E
rpm -ivh elasticsearch-5.5.0.rpm  ##解压

2.加载服务系统并开启开机自启

systemctl daemon-reload                   ##加载服务
systemctl enable elasticsearch.service    ##设置开机自启服务

3.修改Elasticsearch主配置文件(两台都需要操作)

[root@node1 opt]#cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak              ##先进性备份
[root@node1 opt]#vim /etc/elasticsearch/elasticsearch.yml   ###修改elasticsearch主配置文件

cluster.name: my-elk-cluster             ##第17行， 取消注释，指定集群名字
node.name: node1                         ##第23行， 取消注释，指定节点名字：Node1节点为node1，Node2节点为node2
path.data: /data/elk_data                ##第33行， 取消注释，指定数据存放路径
path.logs: /var/log/elasticsearch/       ##第37行， 取消注释，指定日志存放路径
bootstrap.memory_lock: false             ##第43行， 取消注释，改为在启动的时候不锁定内存
network.host: 0.0.0.0                    ##第55行， 取消注释，设置监听地址，0.0.0.0代表所有地址
http.port: 9200                          ##第59行， 取消注释，ES 服务的默认监听端口为9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]       ##第68行， 集群发现通过单播实现，指定要发现的节点 node1、node2

[root@node1 opt]#grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

4.创建数据存放路径并授权，启动服务并查看端口是否开启

此处只演示一个操作，需要(node1和node2)全部操作

mkdir -p /data/elk_data                                ##创建数据存放路径
chown elasticsearch:elasticsearch  /data/elk_data/     ##给数据存放路径赋予权限
systemctl start elasticsearch.service                  ##启动比较慢，需要等待
netstat -natp | grep 9200                              ##过滤端口
tcp6       0      0 :::9200                 :::*                    LISTEN      37606/java

5.查看节点信息

浏览器访问  http://192.168.10.100:9200  、 http://192.168.10.101:9200 查看节点 Node1、Node2 的信息。
 
浏览器访问 http://192.168.10.100:9200/_cluster/health?pretty  、 http://192.168.10.101:9200/_cluster/health?pretty查看群集的健康情况，可以看到 status 值为 green（绿色）， 表示节点健康运行。
 
#使用上述方式查看群集的状态对用户并不友好，可以通过安装 Elasticsearch-head 插件，可以更方便地管理群集。

绿色：健康  数据和副本 全都没有问题
红色：数据都不完整
黄色：数据完整，但副本有问题

3、安装 Elasticsearch-head 插件（在Node1节点上操作）

ES 在 5.0 版本后，插件需要作为独立服务进行安装，需要使用 npm 工具（NodeJS 的包管理工具）安装。安装 Elasticsarch-head 需要提前安装好依赖软件 node 和 phantomjs。

node是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs是一个基于 webkit 的 JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到

1.编译安装 node

#上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -y
cd /opt
rz -E
tar zxvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure
make -j4 && make install

2.安装 phantomjs（前端的框架）

[root@node1 opt]#ls
elasticsearch-5.5.0.rpm    kibana-5.5.1-x86_64.rpm  node-v8.2.1.tar.gz                    rh
elasticsearch-head.tar.gz  node-v8.2.1              phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node1 opt]#tar  jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
[root@node1 opt]#cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/
[root@node1 bin]#ls
phantomjs
[root@node1 bin]#cp phantomjs  /usr/local/bin/

3.安装 Elasticsearch-head 数据可视化工具

[root@node1 opt]#ls
elasticsearch-5.5.0.rpm    kibana-5.5.1-x86_64.rpm  node-v8.2.1.tar.gz                    rh
elasticsearch-head.tar.gz  node-v8.2.1              phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node1 opt]#tar xf elasticsearch-head.tar.gz -C /usr/local/src/
[root@node1 opt]#cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]#ls
Dockerfile                          Gruntfile.js       LICENCE       package-lock.json             README.textile  test
Dockerfile-alpine                   grunt_fileSets.js  node_modules  plugin-descriptor.properties  _site
elasticsearch-head.sublime-project  index.html         package.json  proxy                         src
[root@node1 elasticsearch-head]#npm install
npm WARN deprecated fsevents@1.2.13: The v1 package contains DANGEROUS / INSECURE binaries. Upgrade to safe fsevents v2
npm WARN optional SKIPPING OPTIONAL DEPENDENCY: fsevents@^1.0.0 (node_modules/karma/node_modules/chokidar/node_modules/fsevents):
npm WARN notsup SKIPPING OPTIONAL DEPENDENCY: Unsupported platform for fsevents@1.2.13: wanted {"os":"darwin","arch":"any"} (current: {"os":"linux","arch":"x64"})
npm WARN elasticsearch-head@0.0.0 license should be a valid SPDX license expression

up to date in 5.63s

4.修改 Elasticsearch 主配置文件

[root@node1 opt]#vim /etc/elasticsearch/elasticsearch.yml      ##修改 Elasticsearch 主配置文件

--末尾添加以下内容--
http.cors.enabled: true				#开启跨域访问支持，默认为 false
http.cors.allow-origin: "*"			#指定跨域访问允许的域名地址为所有

systemctl restart elasticsearch     ##重启elasticsearch服务

5.启动 elasticsearch-head 服务

#必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &
 
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server
 
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
 
#elasticsearch-head 监听的端口是 9100
ss -natp |grep 9100

6.通过 Elasticsearch-head 查看 Elasticsearch 信息

通过浏览器访问 http://192.168.10.100:9100/ 地址并连接群集。
如果看到群集健康值为 green 绿色，代表群集很健康。
注意：有的时候显示未连接，这时将 localhost 改成 IP 地址即可

7.插入索引

#通过命令插入一个测试索引，索引为 index-demo，类型为 test。
curl -X PUT 'localhost:9200/index-demo1/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
 
//输出结果如下：
{
"_index" : "index-demo",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 2,
"failed" : 0
},
"created" : true
}

8.浏览器查看索引信息

浏览器访问 http://192.168.10.100:9100/ 查看索引信息，
可以看见索引默认被分片5个，并且有一个副本。
点击“数据浏览”，会发现在node1上创建的索引为 index-demo，类型为 test 的相关信息。

4、ELK Logstash 部署（在 Apache 节点上操作）

Logstash 一般部署在需要监控其日志的服务器。在本案例中，Logstash 部署在 Apache 服务器上，用于收集 Apache 的日志信息并发送到 Elasticsearch。

1.更改主机名

[root@localhost ~]#hostnamectl  set-hostname logstash
[root@localhost ~]#bash

2.安装Apache服务(httpd)

yum install httpd -y   ##安装Apache服务

3.安装Java环境

[root@logstash opt]#java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

4.安装logstash

[root@logstash ~]#cd /opt/
[root@logstash opt]#rz -E
rz waiting to receive.
[root@logstash opt]#ls
logstash-5.5.1.rpm  rh
[root@logstash opt]#rpm -ivh logstash-5.5.1.rpm 
警告：logstash-5.5.1.rpm: 头V4 RSA/SHA512 Signature, 密钥 ID d88e42b4: NOKEY
准备中...                          ################################# [100%]
正在升级/安装...
   1:logstash-1:5.5.1-1               ################################# [100%]
Using provided startup.options file: /etc/logstash/startup.options
Successfully created system startup script for Logstash

[root@logstash opt]#ln -s /usr/share/logstash/bin/logstash  /usr/local/bin/    ##做软链接

5.测试 Logstash

[root@logstash ~]#systemctl start logstash.service        ##首先开启服务
[root@logstash ~]#systemctl enable logstash.service
[root@logstash ~]#systemctl status logstash.service 
● logstash.service - logstash
   Loaded: loaded (/etc/systemd/system/logstash.service; disabled; vendor preset: disabled)
   Active: active (running) since 三 2024-04-10 22:42:12 CST; 3s ago
 Main PID: 5783 (java)
   CGroup: /system.slice/logstash.service
           └─5783 /usr/bin/java -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+U...

4月 10 22:42:12 logstash systemd[1]: Started logstash.
4月 10 22:42:12 logstash systemd[1]: Starting logstash...
##定义输入和输出流：
##输入采用标准输入，输出采用标准输出（类似管道）
##logstash -e 'input { stdin{} } output { stdout{} }'

[root@logstash ~]#logstash -e 'input { stdin{} } output { stdout{} }'
ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console.
WARNING: Could not find logstash.yml which is typically located in $LS_HOME/config or /etc/logstash. You can specify the path using --path.settings. Continuing using the defaults
Could not find log4j2 configuration at path //usr/share/logstash/config/log4j2.properties. Using default config which logs to console
22:45:31.013 [main] INFO  logstash.setting.writabledirectory - Creating directory {:setting=>"path.queue", :path=>"/usr/share/logstash/data/queue"}
22:45:31.016 [main] INFO  logstash.setting.writabledirectory - Creating directory {:setting=>"path.dead_letter_queue", :path=>"/usr/share/logstash/data/dead_letter_queue"}
22:45:31.043 [LogStash::Runner] INFO  logstash.agent - No persistent UUID file found. Generating new UUID {:uuid=>"c93492d0-eb1a-4fb2-a962-69e4952cbc77", :path=>"/usr/share/logstash/data/uuid"}
22:45:31.203 [[main]-pipeline-manager] INFO  logstash.pipeline - Starting pipeline {"id"=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>500}
22:45:31.259 [[main]-pipeline-manager] INFO  logstash.pipeline - Pipeline main started
The stdin plugin is now waiting for input:
22:45:31.328 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}

www.baidu.com
2024-04-10T14:47:32.349Z logstash www.baidu.com

rubydebug 输出：
#使用 rubydebug 输出详细格式显示，codec 为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

[root@logstash ~]#logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console.
WARNING: Could not find logstash.yml which is typically located in $LS_HOME/config or /etc/logstash. You can specify the path using --path.settings. Continuing using the defaults
Could not find log4j2 configuration at path //usr/share/logstash/config/log4j2.properties. Using default config which logs to console
22:55:57.519 [[main]-pipeline-manager] INFO  logstash.pipeline - Starting pipeline {"id"=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>500}
22:55:57.538 [[main]-pipeline-manager] INFO  logstash.pipeline - Pipeline main started
The stdin plugin is now waiting for input:
22:55:57.621 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com
{
    "@timestamp" => 2024-04-10T14:56:14.400Z,
      "@version" => "1",
          "host" => "logstash",
       "message" => "www.baidu.com"
}

输出到 ES：
#使用 Logstash 将信息写入 Elasticsearch 中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.10.100:9200"] } }'
[root@logstash ~]#logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.10.100:9200"] } }'
ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console.
WARNING: Could not find logstash.yml which is typically located in $LS_HOME/config or /etc/logstash. You can specify the path using --path.settings. Continuing using the defaults
Could not find log4j2 configuration at path //usr/share/logstash/config/log4j2.properties. Using default config which logs to console
23:13:22.928 [[main]-pipeline-manager] INFO  logstash.outputs.elasticsearch - Elasticsearch pool URLs updated {:changes=>{:removed=>[], :added=>[http://192.168.10.100:9200/]}}
23:13:22.931 [[main]-pipeline-manager] INFO  logstash.outputs.elasticsearch - Running health check to see if an Elasticsearch connection is working {:healthcheck_url=>http://192.168.10.100:9200/, :path=>"/"}
23:13:23.004 [[main]-pipeline-manager] WARN  logstash.outputs.elasticsearch - Restored connection to ES instance {:url=>#<Java::JavaNet::URI:0x65334761>}
23:13:23.005 [[main]-pipeline-manager] INFO  logstash.outputs.elasticsearch - Using mapping template from {:path=>nil}
23:13:23.238 [[main]-pipeline-manager] INFO  logstash.outputs.elasticsearch - Attempting to install template {:manage_template=>{"template"=>"logstash-*", "version"=>50001, "settings"=>{"index.refresh_interval"=>"5s"}, "mappings"=>{"_default_"=>{"_all"=>{"enabled"=>true, "norms"=>false}, "dynamic_templates"=>[{"message_field"=>{"path_match"=>"message", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false}}}, {"string_fields"=>{"match"=>"*", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false, "fields"=>{"keyword"=>{"type"=>"keyword", "ignore_above"=>256}}}}}], "properties"=>{"@timestamp"=>{"type"=>"date", "include_in_all"=>false}, "@version"=>{"type"=>"keyword", "include_in_all"=>false}, "geoip"=>{"dynamic"=>true, "properties"=>{"ip"=>{"type"=>"ip"}, "location"=>{"type"=>"geo_point"}, "latitude"=>{"type"=>"half_float"}, "longitude"=>{"type"=>"half_float"}}}}}}}}
23:13:23.253 [[main]-pipeline-manager] INFO  logstash.outputs.elasticsearch - New Elasticsearch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>[#<Java::JavaNet::URI:0x67ed24a3>]}
23:13:23.285 [[main]-pipeline-manager] INFO  logstash.pipeline - Starting pipeline {"id"=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>500}
The stdin plugin is now waiting for input:
23:13:23.420 [[main]-pipeline-manager] INFO  logstash.pipeline - Pipeline main started
23:13:23.541 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}

 

6.定义logstash配置文件

Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）。
input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等
filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式
output：表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。

#格式如下：
input {...}
filter {...}
output {...}

#在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下：
input {
    file { path =>"/var/log/messages" type =>"syslog"}
    file { path =>"/var/log/httpd/access.log" type =>"apache"}
}

#修改 Logstash 配置文件，让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中。
chmod +r /var/log/messages					#让 Logstash 可以读取日志
 
vim /etc/logstash/conf.d/system.conf                #该文件需自行创建，文件名可自定义
input {
    file{
        path =>"/var/log/messages"						#指定要收集的日志的位置
        type =>"system"									#自定义日志类型标识
        start_position =>"beginning"					#表示从开始处收集
    }
}
output {
    elasticsearch {										#输出到 elasticsearch
        hosts => [ "192.168.10.100:9200" ]	#指定 elasticsearch 服务器的地址和端口
        index =>"system-%{+YYYY.MM.dd}"					#指定输出到 elasticsearch 的索引格式
    }
}
 
systemctl restart logstash

7.浏览器访问查看索引信息

浏览器访问 http://192.168.79.26:9100 查看索引信息

相关文章