微服务-分布式日志系统Logstash部署

时间:2021-12-03 15:20:02

参考资料:

1 、Logstash中文官网

2、 阿里云Elasticsearch> 最佳实践 > logstash部署

3、 logstash、elasticsearch、kibana搭建日志平台(CSDN)

4、ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台 (CSDN)

4、 elasticsearch5.x安装中一些问题的解决办法

5、 centos7虚拟机安装elasticsearch5.0.x-安装篇

一 ELK平台简介

开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。

官方网站:https://www.elastic.co/products

  • Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

  • Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。

  • Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志

二、 elasticsearch启动过程中遇到的问题:

1、 直接bin文件夹下执行elasticsearch命令启动时,提示不能用root用户启动(don't run elasticsearch as root),原因.root超级用户不能正常启动

  由于elasticsearch2.0版本以后不能使用root来启动,所以需要创建一个普通用户来启动。
  [root@localhost ~]# useradd XXX(自定义用户名称)
[root@localhost ~]# passwd XXX

  添加完以后还是不行,具体步骤参考如下:

微服务-分布式日志系统Logstash部署微服务-分布式日志系统Logstash部署

 

2、 解决上述问题后,又出现以下两个问题

微服务-分布式日志系统Logstash部署

问题[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

修改 vim /etc/security/limits.conf 文件(注意要切换到root用户修改,在切换为非root用户查看)

增加如下字段(主要是hard nofile字段要修改到至少65536):

微服务-分布式日志系统Logstash部署

问题[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决:切换到root用户修改配置sysctl.conf vi /etc/sysctl.conf

添加下面配置: vm.max_map_count=655360

并执行命令: sysctl -p 然后,重新启动elasticsearch,即可启动成功。

启动成功后:

微服务-分布式日志系统Logstash部署

三、 kibana整合elasticsearch配置

启动前修改以下参数即可:

微服务-分布式日志系统Logstash部署

登录Kibana页面:端口号为配置文件中端口号,默认是5601,此处修改为5602了

微服务-分布式日志系统Logstash部署