Heka 最简单例子

技术人员学习都是从简单例子开始的， Heka的应用也是从简单开始的。

需求：

监控一个日志文件的内容，在标准输出显示出来。

操作步骤：

使用下载好或者编译好的 heka

已经编译好的 release 版本可以在下面地址下载： https://github.com/mozilla-services/heka/releases

注意：

需要把编译后产生的 lib 文件（dll文件）放在 system32 目录下，否则会报下面错误：

Heka 最简单例子

准备一个待监控的log文件，我这里是放在 D:\tmp\log 目录下的 auth.log 文件，内容随便输入。

编写一个名叫 sanity_check.toml 的 toml 配置文件，内容如下，具体配置含义，后面分析：

[LogstreamerInput]
log_directory = "D:\\tmp\\log"
file_match = 'auth\.log'

[PayloadEncoder]
append_newlines = false

[LogOutput]
message_matcher = "TRUE"
encoder = "PayloadEncoder"

这里我把这个文件保存在 D:\tmp\heka 目录下。

在 hekad.exe 目录下执行命令：

D:\mycodes\golang\src\github.com\mozilla-services\heka\build\heka\bin>hekad.exe -config=D:\tmp\heka\sanity_check.toml

执行效果如下图：

当我们监控的文件发生变化时，这里也是会实时读取出来的，下面不同的时间也就标示了这点。

Heka 最简单例子

分析：

Heka 最重要组件为 hekad，一个适用于任何主机的轻量级守护程序，我们这里就是对他进行配置。

Heka 使用的的 TOML格式的配置文件，一般依赖一个或者多个TOML格式的配置文件。 TOML是类似 INI 配置的语法，http://www.tuicool.com/articles/7JZRbq3

除了启动应用是，配置的配置文件的位置外，运行hekad有两个重要的目录，这里这几个参数我们都没有配置，我们用的都是默认值:

base_dir (string, 默认‘/var/cache/hekad’ 或者 ‘c:\var\cache\hekad’):
base_dir是hekad运行的工作目录（存储hekad工作信息，如查询日志文件的seek位置等信息），运行hekad的用户需要对这个目录有写权限。

share_dir (string, 默认‘/usr/share/heka’ 或者 ‘c:\usr\share\heka’):
share_dir是hekad的静态资源，比如控制仪表盘（dashboard ）的Html/js 源文件，以及各种Lua插件文件。运行hekad的用户需要对这个目录有读权限。

maxprocs (int, 默认 1):
golang的GOMAXPROCS环境变量，用于控制几个CPU内核参与到运算。
最佳实践：Heka aggregator 机器（最好是CPU核数，或者核数减一，处理数据的Heka机则是1到2。）

[LogstreamerInput] 配置节

log_directory = "D:\\tmp\\log" 需要监控的目录

file_match = 'auth\.log' 需要监控的文件，

[LogOutput] 配置节

LogOutput 是标示只需要将数据写出到Heka进程的标准输出。

message_matcher = "TRUE" 标示我们这个输出应该捕获途径Heka管道的每一个消息。

encoder = "PayloadEncoder" 标示我们捕获的每个消息，都作为原始数据进行输出发送。

[PayloadEncoder] 配置节

append_newlines = false 标示，我们输出时，是否在每行后面补加换行符。

参考资料：

Heka logstreamer 说明文档
http://hekad.readthedocs.org/en/latest/pluginconfig/logstreamer.html#logstreamerplugin