微服务系列之分布式日志 ELK

时间:2022-10-21 16:06:05

1.ELK简介

  ELK是ElasticSearch+LogStash+Kibana的缩写,是现代微服务架构流行的分布式日志解决方案,旨在大规模服务的日志集中管理查看,极大的为微服务开发人员提供了排查生产环境的便利。如果规模较小的日志量,直接使用ElasticSearch、Logstash、Kibana是可以满足其应用的,但是对于日志量较大的中大规模服务集群来说,这3个中间会引入Filebeat、Kafka、Zookpeer三个中间来大幅度提升采集性能、可靠性、可扩展性。目前来说,大部分公司使用的解决方案架构如下图:

微服务系列之分布式日志 ELK

此篇文章,我们一起来熟悉整个流程的搭建,为了方便演示,环境基于docker(正常情况下,因为这套系统是直接linux部署的,因为开销实在是很大)。

2.API服务

  先建一个api服务,使用过滤器,让请求前后都会产生日志

  微服务系列之分布式日志 ELK

我这里,将日志写到根目录下logs文件夹,以MyDockerApi *.lo*生日志文件,接下来,发布,并上传到linux服务器,并用docker启动,不会的同学传送门:https://www.cnblogs.com/saltlight-wangchao/p/16646005.html

微服务系列之分布式日志 ELK

由于docker的隔离性,想要采集日志,必须给服务docker挂载到linux宿主机的盘内,上图就是我为该API服务创建的日志写入目录,因为可能一个宿主机上可能有多个API服务,所以,可以按照规则,继续新建服务文件夹,用于存放不同API服务的日志,我这里就弄了一个先。

docker run --name API8082 -p 8081:5000
-v /etc/localtime:/etc/localtime --解决 docker 容器时间与本地时间不一致
-v /home/fileBeate/logs/mydockerapi1:/app/logs --挂载目录,降容器的app/logs目录挂载到宿主机,我们要指定该服务采集的目录
my1api

启动后,请求该服务

微服务系列之分布式日志 ELK

至此,api服务所产生的日志,已经写到我们要采集的指定目录里。

3.Filebeat

  Filebeat是用于监视、采集、转发指定位置的文件轻量级开源工具,使用golang编写,就采集来说,其性能和资源利用率远好于基于jvm的logstash。

  在这里,filebeat做为kafka的生产者

  1)拉取filebeat镜像

docker pull docker.elastic.co/beats/filebeat:6.4.2

  2)创建filebeat.yml配置文件,进行vim修改

  基础的配置

---
filebeat.inputs:
  - type:log
    enabled: true
    fields:
      log_topics: mydockerapi1  --命名以服务名字,注意,因为一台宿主机可能有多个服务,而我们采集也要分开,再来一组-type
    paths:
      - /usr/share/filebeat/mydockerapi1-logs/*.log   --这里是docker内的路径,千万别写错了。如果是
    
output.kafka:
  hosts:
    - "10.0.8.17:9092"   --kafka的地址
  topic: "elk-%{[fields][log_topics]}"  --消息队列的topic

  3)运行

docker run --restart=always  --name filebeat -d 
-v /home/filebeat.yml:/usr/share/filebeat/filebeat.yml
-v /home/fileBeate/logs/mydockerapi1/:/usr/share/filebeat/mydockerapi1-logs
docker.elastic.co/beats/filebeat:6.4.2

进入filebeat容器内部如下图,可以看到已经采集到日志文件

微服务系列之分布式日志 ELK

使用 docker logs -f filebeat 命令,查看filebeat日志

微服务系列之分布式日志 ELK

上图可见,采集完日志后,像kafka发送了

4.Zookeeper/Kafka

  kafka是结合zookeeper一起使用的,kafka通过zookeeper管理集群配置,选举leader,以及在consumer group发生变化时进行rebalance。producer使用push模式将消息发布到broker,consumer使用pull模式从broker订阅并消费消息,这里不过多描述,感兴趣的可以去详细查看。

  1)拉取zookeeper镜像并运行

  

docker pull zookeeper:latest
docker run -d --name zookeeper -p 2181:2181 -t zookeeper:latest

  微服务系列之分布式日志 ELK

  2)拉取kafka镜像并运行

  

docker pull wurstmeister/kafka:latest
docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0
-e KAFKA_ZOOKEEPER_CONNECT=10.0.8.17:2181
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.0.8.17:9092
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka:latest

微服务系列之分布式日志 ELK

  3)查看filebeat是否采集完日志,是否之前配置的topic写进来,直接执行下面命令

  

docker exec -it kafka bash
cd /opt/kafka/bin
kafka-topics.sh --zookeeper 10.0.8.17:2181 --list

微服务系列之分布式日志 ELK

可见,我们采集的日志已经写进来了。接下来,使用exit命令退出容器。

 5.Logstash

  Logstash是一个接收、过滤、输出的组件,三块形成一个管道,其实这个的功能性很强大,配置起来也很繁琐,我们这里主要是收集各个API服务的日志用,所以就做基础配置即可

   1)拉取镜像

  

docker pull docker.elastic.co/logstash/logstash:6.4.3

  2)创建配置文件并配置

input{
  kafka{  数据源来自kafka,此时logstash做为消费者
    bootstrap_servers => "10.0.8.17:9092"  kafka地址
    topics_pattern  => "elk-.*"   消费的主题匹配elk-开头的
    consumer_threads => 5      -消费线程数
    decorate_events => true     
    codec => "json" 
    auto_offset_reset => "latest"
  }
}

output {
   elasticsearch {   输出到es
         hosts => ["10.0.8.17:9200"]   es地址
         index =>  "ts-mydockerapi1"   es的索引
   }
}

上述是简单的配置,生产中在输出output块中,,要根据topic来输出到不同的索引配置如下:

output {

  if [@metadata][kafka][topic] == "elk-mydockerapi1" {
        elasticsearch {
          hosts => "http://10.0.8.17:9200"
          index => "ts-mydockerapi1"
          timeout => 300
        }
    }   这里可以多个if判断,输出到不同的索引中

  stdout {}
}

  3)运行

docker run --name logstash -d -e xpack.monitoring.enabled=false -v /home/logstash:/config-dir docker.elastic.co/logstash/logstash:6.4.3 -f /config-dir/logstash.conf

微服务系列之分布式日志 ELK

至此logstash启动成功,日志显示正常。至于繁琐的过滤配置,主做运维的同学,可以深研究下,后端同学了解下就行了。我这期间,老是遇到内存溢出的情况,可以改一下,logstash的配置文件,进入docker容器,位置在config/jvm.options,可以修改下内存使用。

6.ElasticSearch

  简称es,elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。官方概念,我们本篇文章不做深入研究,只就ELK分布式日志应用来说。

  1)拉取镜像

  

docker pull docker.elastic.co/elasticsearch/elasticsearch:6.4.2

  2)运行es

docker run --name myes --restart=always  -p 9200:9200 -p 9300:9300 -d -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:6.4.2

  3)查看logstash输入到es的数据

浏览器运行http://你的IP:9200/_search?pretty

微服务系列之分布式日志 ELK

日志数据已经进来了,接下来最后一步,展示日志。

7.Kibana

  kibana是一个开源的分析与可视化平台,设计出来用于和elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在elasticsearch索引里的数据,使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化.

  1)拉取镜像

docker pull docker.elastic.co/kibana/kibana:6.4.3

  2)运行

docker run -d --name kibana -p 5601:5601 -e ELASTICSEARCH_URL=http://10.0.8.17:9200 docker.elastic.co/kibana/kibana:6.4.3

  3配置展示

  运行起来后,打开你的ip:5601,刚进来会让你创建索引,步骤如下图

 

  微服务系列之分布式日志 ELK

 

微服务系列之分布式日志 ELK

 

微服务系列之分布式日志 ELK

选择next step按钮,创建完毕,如下图

微服务系列之分布式日志 ELK

由于我这个linux服务器太弱了,ELK完全运行起来太卡了,就不继续做了,可以再建个API服务,模拟多个服务日志,通过ELK采集,在kibana里,根据logstash输入进es的索引,来展示对应服务的日志,如下图:

 微服务系列之分布式日志 ELK

这里就可以选择对应API服务的索引日志了。。。

最后做为后端研发来说,一个有规模的做微服务的团队,ELK的搭建不是直接购买云产品,就是由运维来搭建,但是小规模团队,还是需要后端同学来搞的,总之,后端研发人员可以不实践,但是最好要了解一下整体流程。OK本文到此结束。