logstash匹配多行日志

时间：2021-06-09 20:46:17

在工作中，遇到一个问题就是日志的处理，首选的方案就是ELFK（filebeat+logstash+es+kibana）

因为之前使用过logstash采集日志的时候，非常的消耗系统的资源，所以这里我选择了更加轻量级的日志采集器fiebeat,

我这里是使用filebeat采集日志，然后把日志传给logstash 进行匹配解析。然后存储到es里面，最后使用kibana进行页面上的展示

我这里的环境是这样的

filebeat-5.3.0-linux-x86_64.tar.gz

logstash-2.3.1.tar.gz

elasticsearch-1.7.3.tar.gz

kibana-4.1.2-linux-x64.tar.gz

我这里filebeat的配置是这样的

logstash匹配多行日志

这里我的日志接收端logstash的配置是这样的

 这里我在使用logstash的插件multiline插件的时候总是报错是multiline 插件的报错。我的logstash的版本是2.0.0
 然后我给他换成2.3.1
 ./logstash-plugin install logstash-filter-multiline
 装上插件

input {

	beats {

	  type => beats

	  port => 5077

	}

}

filter {

	multiline {

        	pattern => ".*##.*"

		negate => true

        	what => "previous"

    	}

    }
不要在logstash的filter plugin中配置multiline(文章转自：http://niubidian.top/blog/show/27/)

如果在filter plugin中配multiline的话，logstash的workers会强制设置为1（即使你设置为其他值也没用）。这样会导致logstash处理效率下降。

解决办法就是将多行匹配配置到input plugin中。可以这样
input {

    beats {

        port => "5191"

        codec => multiline {

            patterns_dir => ["/data/package/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.2/patterns"]

            pattern => ".*#ELK#.*"

            what => "previous"

            negate => true

        }

    }

}


output {

	if [type] == 'test-front' {

	elasticsearch {

	   hosts => ["10.19.148.59:9200"]

           index => "test-front-%{+YYYY.MM.dd}"

	}

	stdout {

	   codec => rubydebug

	}

}

}
匹配含有字符串##的行，如果没有这个字符串的行，那肯定是属于前一行的。

 对 multiline 插件来说，有三个设置比较重要：negate、pattern 和 what。
what

    必须设置

    可以为 previous 或 next

    没有默认值

如果正则表达式匹配了，那么该事件是属于下一个或是前一个事件？

pattern

    必须设置

    类型为 string

    没有默认值

要匹配的正则表达式。

negate

    类型是 boolean

    默认为 false

否定正则表达式（如果没有匹配的话）。

参考链接：http://blog.csdn.net/wyqlxy/article/details/52622867

我的日志的格式是这样的

这里我们可以看一下logback.xml里的配置

<encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %le %lo [%thread]: [appid => -] ## '%msg' '%ex'\n</pattern>
</encoder>

2017-- ::22.765 DEBUG org.springframework.web.servlet.mvc.method.annotation.RequestResponseBodyMethodProcessor[qtp1213415012-]: [appid => -] ## 'Written [1] as "application/json" using [org.springframework.http.converter.json.MappingJackson2HttpMessageConverter@656e9929]' 'java.lang.RuntimeException: For debugging purposes only (not an error)

    at org.springframework.session.web.http.SessionRepositoryFilter$SessionRepositoryRequestWrapper.getSession(SessionRepositoryFilter.java:)

    at org.springframework.session.web.http.SessionRepositoryFilter$SessionRepositoryRequestWrapper.getSession(SessionRepositoryFilter.java:)

    at org.springframework.session.web.http.SessionRepositoryFilter$SessionRepositoryRequestWrapper.getSession(SessionRepositoryFilter.java:)

    at com.kongzhong.interceptor.SSOLoginInterceptor.preHandle(SSOLoginInterceptor.java:)

    at org.springframework.web.servlet.HandlerExecutionChain.applyPreHandle(HandlerExecutionChain.java:)

    at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:)

    at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:)

    at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:)

    at org.springframework.web.servlet.FrameworkServlet.doGet(FrameworkServlet.java:)

    at javax.servlet.http.HttpServlet.service(HttpServlet.java:)

    at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:)

    at javax.servlet.http.HttpServlet.service(HttpServlet.java:)

要是上面想写正则的话是这样的

%{TIMESTAMP_ISO8601:date} %{WORD:Level} %{DATA:CLASS} \[%{DATA:Thread}\]: %{SYSLOG5424SD:appid} ## \'%{DATA:message}\' (\'\'|%{QUOTEDSTRING:Exception})

参考文档链接：

http://blog.csdn.net/wyqlxy/article/details/52622867
https://discuss.elastic.co/t/filebeat-and-multiline/38499/5

https://www.jamf.com/jamf-nation/discussions/11351/logstash-filter

ELK的文章

http://blog.oldboyedu.com/elk/

http://www.tuicool.com/articles/YRZzQzZ

http://www.ibm.com/developerworks/cn/opensource/os-cn-elk-filebeat/index.html

http://jayveehe.github.io/2017/02/01/elk-stack/

http://shildon.leanote.com/post/%E6%90%AD%E5%BB%BAELK%E7%AC%94%E8%AE%B0

filebeats 的文章

http://www.nibayuan.com/articles/2016/02/24/elk-filebeat.html

这里我们要给logstash 的beat的插件给装上

在使用filebeat的时候数据总是穿不过去，我也装上logstash-input-beats的插件了

但是就是不行，然后我按照网上的方法把这个插件给卸载了

bin/plugin uninstall logstash-input-beats

cd /data/tools

wget https://rubygems.org/downloads/logstash-input-beats-0.9.3.gem

 ./bin/plugin install /data/tools/logstash-input-beats-0.9.3.gem 

 然后我们再启动logstash 和filebeat就好了

./filebeat -e -c filebeat.yml

filebeat配置多个log

https://www.zybuluo.com/muyanfeixiang/note/608470

filebeat 配置文件的解释

http://www.cnblogs.com/zlslch/p/6622079.html

logstash 的配置文件的格式

http://www.cnblogs.com/smail-bao/p/5695656.html

相关文章