Logstash 安装与配置

时间:2022-07-11 07:19:19

一、Logstash 描述


简单而又强大的数据抽取与处理工具,相比于flums一整本书的描述强大而又好用。

还记得我13年用python写了一个数据抽取、校验工具,设计思路也同样是拆解处理过程模板,然后通过插件式的输入、输出、转化校验逻辑实现,设计思路如初一折。

当然当初设计是基于propertise配置实现,logstash则是完备的dsl语言,实现了函数式语言的范式。

当初也想实现函数式,始终不得其法,现在看来豁然开朗。

二、安装


centos环境推荐用yum安装的方式,至于其他方式,请关注官方文档(https://www.elastic.co/guide/en/logstash/current/installing-logstash.html

1、Download and install the public signing key:

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

2、添加repo

添加如下内容,到/etc/yum.repos.d/ 目录,以.repo结尾,推荐为:logstash.repo

[logstash-5.x]
name=Elastic repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

3、最后执行命令安装;

sudo yum install logstash

三、配置


#1. 复制配置文件到logstash home
cp /etc/logstash /usr/share/logstash/config
#2. 配置路径
vim /usr/share/logstash/config/logstash.yml
 
修改前:
path.config: /etc/logstash/conf.d
修改后:
#path.config: /etc/logstash/conf.d
path.config: /usr/share/logstash/config/conf.d
 

四、我找到的文档资料


logstash 5.0 官方文档:https://www.elastic.co/guide/en/logstash/current/index.html

最新版资料还是看官方靠谱;

大陆翻译的《ELK Stack中文指南》:http://kibana.logstash.es/content/

《Logstash最佳实践》:http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html