ELK - MAC环境搭建

ELK - MAC环境搭建

本文旨在记录elasticsearch、logstash、kibana在mac下的安装与启动。

写在前面

ELK的官方文档对与它们的使用方法已经讲的非常清楚了，这里只对相关的安装步骤以及可能碰到的一些坑进行一些记录。

先决条件

• java8
• mac软件管理工具brew

brew相关命令

# 安装软件
brew install your-software
# 查看软件安装信息
brew info your-software
# 管理服务，没怎么用它，ELK都有自己的启动脚本在安装目录的bin/下面，且基本上都会携带参数启动
brew services start/stop your-service

elasticsearch

mac安装elasticsearch

# mac安装elasticsearch
brew install elasticsearch

elasticsearch的相关安装位置

安装目录：/usr/local/Cellar/elasticsearch/{elasticsearch-version}/

日志目录：/usr/local/var/log/elasticsearch/

插件目录：/usr/local/var/elasticsearch/plugins/

配置目录：/usr/local/etc/elasticsearch/

安装完成elasticsearch之后，可以通过brew services start elasticsearch启动它，然后通过curl请求REST API对它进行调用

首次启动，默认的端口号是9200，用户名是elastic，密码我也不知道（资料上查到的都是6.0以前的版本，密码是changeme，6.0以后不清楚），通过调用_xpack接口修改默认密码：

# 如果不是第一次修改，则需要输入当前密码才能进行密码修改
curl -XPUT -u elastic 'localhost:9200/_xpack/security/user/elastic/_password' -H "Content-Type: application/json" -d '{"password":"123456"}'

kibana

# mac安装kibana
brew install kibana

kibana的相关安装位置

安装目录：/usr/local/Cellar/kibana/{kibana-version}/

配置目录：/usr/local/etc/kibana/

启动kibana之前，需要先修改一下配置文件/usr/local/etc/kibana/kibana.yml，取消elasticsearch.name和elasticsearch.password的注释，并将值改为上面修改过的用户名密码username: elastic, password: 123456，请参考下面的kibana.yml片段

# /usr/local/Cellar/kibana/6.2.4/kibana.yml

server.port: 5601
server.host: "localhost"
elasticsearch.url: "http://localhost:9200"
elasticsearch.username: "elastic"
elasticsearch.password: "changeme"

这里提供两个脚本用来启动/停止kibana：

#! /bin/bash
#  启动脚本: file path: /usr/local/Cellar/kibana/6.2.4/bin/kibana-start.sh

nohup ./bin/kibana -l /usr/local/var/log/kibana.log > /dev/null & echo $! > pid.txt

#! /bin/bash
#  停止脚本：file path: /usr/local/Cellar/kibana/6.2.4/bin/kibana-stop.sh

kill -9 `cat bin/pid.txt`

因为默认的启动脚本bin/kibana并没有提供后台运行，且如果不指定-l参数，默认是没有日志文件的，这里我将日志文件定位到了/usr/local/var/log/kibana.log文件中。

首次启动，默认端口号是5601，打开浏览器访问http://localhost:5601访问kibana管理页面，会弹框要求输入用户名密码，输入elastic和123456即可。

注：这里的kibana.yml中配置的用户名密码是kibana访问elasticsearch需要用到的，而web页面手动输入的用户名密码是我们登录kibana管理页面的密码，它们为什么能共用一个密码，不太清楚

坑：如果没有配置kibana.yml，虽然可以登录成功kibana，但是在kibana页面中什么都访问不了，它会提示你elasticsearch的认证失败！

logstash

# mac安装logstash
brew install logstash

logstash的相关安装位置

安装目录：/usr/local/Cellar/logstash/{logstash-version}/

启动相关：参考备注

filebeat

# mac安装filebeat
brew install filebeat

filebeat的相关安装位置

安装目录：/usr/local/Cellar/filebeat/{filebeat-version}/

配置目录：/usr/local/etc/filebeat/

缓存目录：/usr/local/var/lib/filebeat/

启动相关：参考备注

备注

因为logstash的启动关乎很多概念如管道、输入、输出、过滤器等，我这里是参考的官方文档，写的非常清晰：https://www.elastic.co/guide/en/logstash/current/getting-started-with-logstash.html

讲了logstash结合filebeat将Apache日志文件解析成结构化数据存储到elasticsearch