一、Logstash 描述
简单而又强大的数据抽取与处理工具，相比于flums一整本书的描述强大而又好用。
还记得我13年用python写了一个数据抽取、校验工具，设计思路也同样是拆解处理过程模板，然后通过插件式的输入、输出、转化校验逻辑实现，设计思路如初一折。
当然当初设计是基于propertise配置实现，logstash则是完备的dsl语言，实现了函数式语言的范式。
当初也想实现函数式，始终不得其法，现在看来豁然开朗。
二、安装
centos环境推荐用yum安装的方式，至于其他方式，请关注官方文档（https://www.elastic.co/guide/en/logstash/current/installing-logstash.html）
1、Download and install the public signing key:
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
|
2、添加repo
添加如下内容，到/etc/yum.repos.d/ 目录，以.repo结尾，推荐为：logstash.repo
[logstash-5.x]
name=Elastic repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md |
3、最后执行命令安装；
sudo yum install logstash |
三、配置
#1. 复制配置文件到logstash home
cp /etc/logstash /usr/share/logstash/config#2. 配置路径
vim /usr/share/logstash/config/logstash.yml 修改前：path.config: /etc/logstash/conf.d修改后：#path.config: /etc/logstash/conf.dpath.config: /usr/share/logstash/config/conf.d |
四、我找到的文档资料
logstash 5.0 官方文档：https://www.elastic.co/guide/en/logstash/current/index.html
最新版资料还是看官方靠谱；
大陆翻译的《ELK Stack中文指南》：http://kibana.logstash.es/content/
《Logstash最佳实践》：http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html