什么是ELK STACK
ELK Stack是Elasticserach、Logstash、Kibana三种工具组合而成的一个日志解决方案。ELK可以将我们的系统日志、访问日志、运行日志、错误日志等进行统一收集、存储分析和搜索以及图形展现。相比传统的CTRL+F或者数据库语句来进行数据查询，ELK支持分布式搜搜，数据量可达PB级别，检索速度更快速，接近实时处理，并且更智能，可以去掉一些没有特殊含义的词汇，比如“这，的，是”，还可以进行搜索补全与搜索纠错。
LogStash：
负责日志的收集，并且可以输出到指定位置，如Redis、kafka、以及最主要的ElasticSearch中，通常会在所有需要收集日志的服务器上安装Logstash，然后由Logstash agent端发送到Logstash的Server端
ElasticSearch：
使用JAVA开发、基于Lucene搜索引擎库的全文搜索工具，通过RESTful API（一种接口设计规范，让接口更易懂）隐藏了Lucene原本的复杂性。实现了日志数据的分布式、实时分析，并且可以进行搜索补全与纠错等功能，是ELK最核心的组件。相比MySQL库和表的概念，在ES中把库叫做索引。
Kibana：
负责数据的展示与统计，是一个图形化的管理系统。
下面一一介绍这几个系统的安装搭建。
一、安装Elasticsearch：
1、ElasticSearch默认工作在集群模式下，扩展性很强，并且支持自动发现。所以在实验环境中需要至少2台服务器来搭建，但是为了防止脑裂，建立使用基数台服务器。在部署ElasticSearch前需要先部署JAVA环境，所以第一步是安装JDK，这里偷懒使用yum安装了openjdk，生产环境还是建议用JDK的源码包（暂时不支持JDK 9）。
yum install java-1.8.-openjdk.x86_64
2、下载ElasticSearch，官网地址是www.elastic.co（不是com），其每个Products下都有专门的文档用于参考。
下载tar包解压，然后进入config目录，该目录下除了有一个主配置文件elasticsearch.yml需要配置外，还有一个jvm.options文件用于JVM的调优
tar zxf elasticsearch-6.3.tar.gz cd elasticsearch-6.3/config
jvm.options文件主要是JVM优化相关，关于垃圾回收这块使用默认配置就可以了，我们要调整的就是最大内存和最小内存的设置。通常设置为一样大小，具体的值可以设置为系统最大内存的一半或三分之二
-Xms1g #程序启动时占用内存的大小 -Xmx1g #程序启动后最大可占用内存的大小
3、修改ElasticSearch的配置，编辑elasticsearch.yml
cluster.name: my-application #集群名称，相同集群名称的节点会自动加入到该集群 node.name: r1 #节点名称，两个节点不能重复 path.data: /path/to/data #指定数据存储目录 path.logs: /path/to/logs #指定日志存储目录 network.host: 0.0.0.0 #本机地址或者4个0 http.port: #指定端口 discovery.zen.ping.unicast.hosts: ["192.168.44.130"] #集群中master节点初始化列表，通过列表中的机器来自动发现其他节点
3、运行bin/elasticsearch 启动服务（加-d是在后台运行）。启动后服务会监听在9200端口，还有个9300端口用于集群间通信。如果配置文件中监听的端口是外网地址，在运行Elasticsearch时会遇到一些内核报错，具体报错和解决方法如下（做好配置后，需要注销用户重新登录才会生效）：
（1）don't run elasticsearch as root：
解决办法：Elasticsearch是不允许使用root用户来运行的，所以需要把ElasticSearch目录所有者修改为其他用户，并切换到该用户去执行。用浏览器打开能看到如下信息代表安装成功：
（2）Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12)：
解决办法：内存不足，升级内存
（3）Exception in thread "main" java.nio.file.AccessDeniedException
解决办法：运行Elasticsearch程序的用户权限不够，把Elasticsearch目录权限修改下即可
（4）max virtual memory areas vm.max_map_count [65530] is too low
解决办法：修改/etc/sysctl.conf，增加一行vm.max_map_count= 262144。然后执行sysctl -p使其生效
（5）max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]
解决办法：修改/etc/security/limits.conf，做以下配置
* soft nproc
* hard nproc
* soft nofile
* hard nofile
（6）max number of threads [3812] for user [elkuser] is too low, increase to at least [4096]
解决办法：修改/etc/security/limits.d/20-nproc.conf，做以下配置
* soft nproc
* hard nproc
Elasticsearch接口说明：
ES启动后如何验证节点是否在集群中呢？ES是使用RESTful形式的接口对外提供访问，所以我们要访问ES接口的话可以使用curl命令。ES有四类API，作用大概如下：
1、用来检查集群节点、索引当前状态
2、管理集群节点、索引及元数据
3、执行增删改查操作
4、执行高级操作，例如paging，filtering
Elasticsearch 常用API有cat、cluster等，下面是一些简单介绍：
通过curl可以看到cat这个API下有很多子功能
1、Elasticsearch集群健康检查：
通过cat、cluster两个API都可以进行集群健康检查，green代表集群完全正常；yellow代表集群正常，部分副本分片不正常；red代表集群故障，数据可能会丢失
http://localhost:9200/_cat/health http://localhost:9200/_cat/health?v #显示信息更详尽 http://localhost:9200/_cluster/health http://localhost:9200/_cluster/health?pretty（加上pretty会将内容格式化再输出，更美观）
2、查询所有节点列表
http://localhost:9200/_cat/nodes?v
3、查询所有索引
http://localhost:9200/_cat/indices?v
curl命令在Elasticsearch中的使用
使用curl可以通过模拟http请求的方式去创建和管理索引，常用选项如下：
-X：指定http的请求方法，如HEAD,POST,PUT,DELETE
-d：指定要传输的数据
-H：指定http请求头信息
1、使用curl新增索引
curl -XPUT "localhost:9200/blog_test?pretty" #新增一个blog_test索引
2、删除索引
curl -X DELETE "localhost:9200/bolg_test?pretty"
3、查询创建的索引
http://localhost:9200/_cat/indices?v
下面是更贴近实际操作的curl命令，插入了两条数据
#为blog索引新增两条记录，指定type为article，ID为2和3
curl -XPUT -H "Content-Type: application/json" 'localhost:9201/blog/article/2?pretty' -d '
{
"title": "test",
"content":"testsfsdfdsfdsf",
"PV":
}'
curl -XPUT -H "Content-Type: application/json" 'localhost:9201/blog/article/3?pretty' -d '
{
"title": "test",
"content":"testsfsdfdsfdsf",
"PV":
}'
查询索引和数据搜索
#通过ID来查询 curl -XGET 'localhost:9200/blog/article/2?pretty' #指定具体的索引和type进行搜索 curl -XGET 'http://localhost:9200/blog/article/_search?q=title:test'
二、Logstash安装步骤
1、下载Logstash 6.3
依然是在ELK的官方网站www.elastic.co，本文以源码包形式进行Logstash的安装。其实Logstash的安装很简单，只要保证JDK正常运行（目前只支持JDK8），然后直接解压Logstash即可。这里我们解压到了/usr/local/logstash下，并且建立一个软连接
tar zxf logstash-6.3.tar.gz mv logstash-6.3 /usr/local/ ln -s logstash-6.3.logstash
2、配置与命令行启动Logstash
在Logstash目录下有很多子目录，但是大多数是不用去关注和修改的（仅有2个配置文件可能需要略微修改，一个是config/logstash.yml，可能需要修改启动进程数以及日志信息；一个是jvm.options，这个和Elasticsearch是一样的，主要是优化内存）。bin目录下有启动服务需要的脚本，现在可以用命令行来启动Logstash测试是否正常（运行后多等一会儿才有反应）：
cd logstash-6.3
bin/logstash -e 'input{ stdin{} } output{ stdout{} }' #-e选项是直接用命令行模式，采用标准输入，标准输出
Settings: Default pipeline workers:
Pipeline main started
hello world #这里手动输入的hello world，作为标准输入
--19T01::.797Z 0.0.0.0 hello world #标准输出的结果显示在屏幕
nihao
--19T02::.013Z 0.0.0.0 nihao
使用codec指定输出格式（codec是一种解码编码的工具）
[root@server bin]# ./logstash -e 'input{ stdin{} } output{ stdout{codec => rubydebug} }' # -e选项是直接用命令行模式，输入采用标准输入，输出采用的codec风格
Settings: Default pipeline workers:
Pipeline main started
hello world
{
"message" => "hello world", #输入的内容
"@version" => "", #版本号
"@timestamp" => "2016-05-19T02:09:43.921Z", #自动生成时间戳
"host" => "0.0.0.0" #数据是由哪个节点发过来的
3、自定义Logstash配置文件
生产环境中需要用到的规则更为复杂，使用命令行显然不可取。所以可以自定义规则文件，然后让Logstash根据规则进行工作。下面是通过配置文件指定Logstash的数据输入输出的示例，配置文件里主要是写明input、output规则，filter规则是需要过滤内容时才会有：
input{
stdin {}
}
output{
stdout{
codec => rubydebug
}
}
启动服务时加上-t选项可以检查配置文件是否正确，-f选项就是配置文件的路径
logstash -t -f /etc/logstash.conf
启动成功后会看到Pipeline main started这样的信息出来，这个时候我们就可以输入信息给Logstash了，我们输入的信息会通过标准输出显示到屏幕上，如图：
在Logstash中输入的数据我们可以通过日志文件来获取，当然输出的数据我们也可以指定到自己需要的容器中，如Elasticsearch里。要通过日志文件来获取输入信息的话就需要用到最常用的input插件——file（官方文档里有详细介绍每个input插件的使用方式，output插件同理）。下面是一个使用file插件的简单案例，由于output依然是标准输出，所以会有疯狂刷屏的情况出现：
vi etc/logstash.conf
input {
file {
path => [ "/var/log/secure" ] #文件路径
type => "system" #类似打个标记，自定义
start_position => "beginning" #从文件头部读取，相反还有end
}
}
output {
stdout {
codec => rubydebug
}
}
file插件使用了一个sincedb文件来记录当前文件读区位置，即使重新启动服务也不会丢失文件的读取位置。默认情况下sincedb文件放在运行Logstash的用户的主目录中，可以用sincedb_path选项自定义存放路径。
总结：在实际工作中Logstash数据收集的一个流程大概是：数据源→通过input插件（如file、redis、stdin）→output插件→写到Elasticsearch。在官网文档中可以看到有很多其他input插件，如图：
下面看看如何将Logstash收集到的数据提交给Elasticsearch。这里需要使用一个output插件——elasticsearch。使用方法也很简单，只需要在配置文件里指定插件就可以了，如下：
[root@server ~]# cat /etc/logstash.conf
input{
file{
path=> "/var/log/audit/audit.log"
type=> "system"
start_position=> "beginning"
}
}
output{
elasticsearch{ #输出到es
hosts=> ["192.168.44.129:9200","192.168.44.130:9200"]
}
}
文件设置好了后运行logstash的程序，再到Elasticsearch就可以查看到数据了
[root@server ~]# /usr/local/logstash/bin/logstash -f /etc/logstash.conf
在生产环境中启动Logstash都是放后台运行，我们可以一次运行多个程序，因为Logstash不会占用端口，加-w选项可以启动多个线程，提高效率，默认是2，例：
nohup /logstash/bin/logstash agent -f /logstash/conf/indexer-xire.conf -w &
三、Kibana安装步骤
继Elasticsearch和Logstash之后，轮到了Kibana。Kibana是为Elasticsearch提供的可视化平台，负责数据的美观展示。Kibana的安装和Logstash一样极其简单，而且不需要在每个客户端都安装，通常想让哪台服务器作为展示就用哪台安装一个kibana，Kibana是从Elasticsearch中获取数据的，即使安装在Elasticsearch集群之外的节点也是没有问题的。
tar zxf kibana-6.3-linux-x64.tar.gz mv kibana-6.3-linux-x64 /usr/local/ ln -s /usr/local/kibana-6.3-linux-x64 /usr/local/kibana
配置很简单，修改配置文件config/kibana.yml里的以下信息即可：
vi config/kibana.yml server.port: #服务端口 server.host: "0.0.0.0" #修改为本机地址 elasticsearch.url: "http://192.168.44.129:9200" #ES的地址与端口 kibana.index: ".kibana"
运行bin/kibana可以直接启动服务，但是通常是放后台运行，所以加上nohup吧（从2.x到6.x都是这个方式）
nohup kibana &
Kibana服务默认监控在5601端口，浏览器访问http://IP:5601可以打开Kibana的界面（不要用IE内核访问）。第一次访问Kibana会提示配置索引，输入在ES中存在的索引名字后Kibana会自动进行正则匹配（通常用Logstash发送的数据索引名是以logstash打头，用filebeat就是filebeat打头，当然也可以在Logstash配置文件的output段使用index选项自定义索引）
output {
elasticsearh {
hosts => ["http://127.0.0.1:9200"]
index => "nginx-%{+YYYY.MM.dd}"
}
}
左侧导航栏有很多选项，Discover用于和Elasticsearch交互和展示搜索结果；Visualize用于报表生成，比如有一个银行系统，里面有很多用户，现在想统计每个存钱区间的人数，存款在1万以下有多少人，5万以下有多少人等，用这个报表系统就可以方便的进行操作。
右上角有个时间过滤器，默认是logstash索引最后15分钟的数据，没有的话就会显示No results found。点击过滤器后可以在左侧选择过滤条件，分为了快速查找（Quick）、相对时间（Relative）、绝对时间(Absolute)。
在中间部分有绿色的直方图，点击绿色区域会跳转到对应时间的数据，并且显示该时间内产生了多少数据，如图：
在页面左侧可以选择索引以及字段：
通过kibana进行全文搜索也很简单，只需要在搜索框里输入关键词，然后就会自动把匹配的日志给展示出来：
Kibana的监控页
和Nginx一样，Kibana也有一个监控页用于查看服务器当前状况，当然在生产中最好也使用Nginx做好权限审核，不要让任何人都可以登录，Kibana监控页访问地址是http://URL/status！
至此一个高效多功能的日志系统就初步完成了。