扩展
logstash插件
1、中文:手把手教你编写Logstash插件
2、官方:How to write a Logstash filter plugin
问题
1、插件装不上:把plugin的源地址换成淘宝的:https://ruby.taobao.org(未测试)
2、不能实时收集日志:没设置start_position ,默认是end,没有新日志进来。
3、搜索:要整个string一起搜索,比如,java.lang.NullPointerException
4、kibana页面出错:index名称不对。也有可能是ls和es之间不能相互通信。
5、无法创建field:正则不匹配,不能识别出字段。
6、像某些项目,一天生成一个新文件的日志,logstash会知道文件发生了变化,会对新生成的文件,从头开始读取。即指定的文件,一旦发生改变(对文件内容进行了删减),会从头开始读取(前提是设置了beginning)。
7、用multiline 进行多行过滤时,如果不写negate => true,那么multiline { }不会生效。
8、改了my.conf 不起作用
① 在notepad++里面改的文本已经保存,但是并没有同步到虚拟机,打开虚拟机里面的文件,还是那样
②用-e方式运行有效,用my.conf无效:没有找到配置文件,执行命令少了一个 -f
9、BUG? 设置了时间分割,但是还会断成两节。
10、no cached mapping for this field. Refresh field list from the Settings >Indices page
解决方案:Refresh field list from the Settings >Indices page
11、
A plugin had an unrecoverable error. Will restart this plugin.\n
Plugin: <LogStash::Inputs::Stdin type=>\"stdin\", codec=><LogStash::Codecs::Line charset=>\"UTF-8\", delimiter=>\"\\n\">>\n
Error: Unknown error - \x{B4ED}\x{CEF3}\x{B5C4}\x{CEC4}\x{BCFE}\x{C3E8}\x{CAF6}\x{B7FB}", :level=>:error}
解决方案:删除原有的LogStash软件,重新安装。
应用
1、监控catlinla.out这个文件。
2、监控服务间调用耗时。
技巧
1、自定义@timestamp时间格式:在Settings里面,找到@timestamp Fields,编辑。