linux下syslog-ng日志集中管理服务部署记录

时间：2021-11-12 09:28:06

syslog是Linux系统默认的日志守护进程，默认的syslog配置文件是/etc/syslog.conf文件。syslog守护进程是可配置的，它允许人们为每一种类型的系统信息精确地指定一个存放地点。比较 syslog ，syslog-ng 具有众多高级的功能：更好的网络支持，更加方便的配置，集中式的网络日志存储，并且更具有弹性。比如，使用syslogd时，所有的iptables日志与其他内核日志一起全部存储到了kern.log文件里。Syslog-ng则可以让你有选择性的将iptables部分分出到另外的日志文件中。Syslogd仅能使用UDP协议，Syslog-ng 可以使用UDP和TCP协议。所以我们可以在加密的网络隧道中传输日志到集中日志服务器。

syslog-ng的一个设计原则就是建立更好的消息过滤粒度。syslog-ng能够进行基于内容和优先权/facility的过滤。另一个设计原则是更容易进行不同防火墙网段的信息转发，它支持主机链，即使日志消息经过了许多计算机的转发，也可以找出原发主机地址和整个转发链。最后的一个设计原则就是尽量使配置文件强大和简洁。syslog-ng作为syslog的替代工具，可以完全替代syslog的服务，并且通过定义规则，实现更好的过滤功能。之前介绍了Linux下rsyslog日志收集服务环境部署记录，下面简单介绍下syslog-ng日志集中管理服务部署记录：

下面部署实例目的：

实现接收远程客户端服务日志（nginx、mysql、php、apache）保存在本地一台日志服务器上提供查看。

即远程客户机采用syslog-ng将其日志通过管道pipe传送到本地的日志服务器上进行查看。

一、syslog-ng安装（服务端和客户端都要安装）

[root@syslog-ng ~]# wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm

[root@syslog-ng ~]# rpm -ivh epel-release-latest-6.noarch.rpm --force

[root@syslog-ng ~]# yum install syslog-ng -y

==============================================================================================

温馨提示：

由于日志集中管理服务syslog-ng采用的是C/S架构，所以客户端也需要安装syslog-ng。

如果客户端只是传输系统日志到syslog-ng服务器上，那么客户端就不需安装syslog-ng了，只需要在在syslog.conf配置里添加一条：

#vim /etc/syslog.conf                   //这是系统日志，所有级别的所有日志。

*.*                      @192.168.10.205        //此处IP地址为日志服务器IP【即客户端的ip】

==============================================================================================

二、syslog-ng服务端配置记录（192.168.10.205）

[root@syslog-ng ~]# cp /etc/syslog-ng/syslog-ng.conf /etc/syslog-ng/syslog-ng.conf.bak

[root@syslog-ng ~]# vim /etc/syslog-ng/syslog-ng.conf

......

options {

    flush_lines (0);

    time_reopen (10);

    log_fifo_size (1000);

    long_hostnames (off);

    use_dns (no);

    use_fqdn (no);

    create_dirs (yes);                  #此行改为yes

    keep_hostname (yes);

};

......

source s_log {

        udp(ip(0.0.0.0) port(514));

};

......

destination d_log {

        file("/data/syslog-ng/kevin.log");

};

......

log { source(s_log);  destination(d_log); };

配置说明：

options       为全局配置参数

source        是日志从本机的哪个IP哪个端口接收信息

destination   接收到信息保存在哪个文件

log           就是将来源信息写入到目的文件中

创建日志存放文件

[root@syslog-ng ~]# mkdir /data/syslog-ng/

[root@syslog-ng ~]# touch /data/syslog-ng/kevin.log         #此文件其实可以不用提前创建，会自动创建。

[root@syslog-ng ~]# chmod 600 /data/syslog-ng/kevin.log

启动syslog-ng服务

[root@syslog-ng ~]# /etc/init.d/syslog-ng start

Plugin module not found in 'module-path'; module-path='/lib64/syslog-ng', module='afsql'

Plugin module not found in 'module-path'; module-path='/lib64/syslog-ng', module='afsql'

                                                           [  OK  ]

三、syslog-ng客户端配置记录（192.168.10.206）

   将客户端服务器nginx日志通过管道文件传输到日志服务器上（即输出到syslog-ng服务器端）

[root@web-node01 ~]# cp /etc/syslog-ng/syslog-ng.conf /etc/syslog-ng/syslog-ng.conf.bak

[root@web-node01 ~]# vim /etc/syslog-ng/syslog-ng.conf

......

options {

    flush_lines (0);

    time_reopen (10);

    log_fifo_size (1000);

    long_hostnames (off);

    use_dns (no);

    use_fqdn (no);

    create_dirs (yes);                 #修改为yes

    keep_hostname (yes);

};

......

source s_slog {

         pipe("/data/kevin/log.pipe");

};

......

destination d_slog { udp(192.168.10.205 port(514)); };              #ip为syslog-ng服务端ip地址

......

log { source(s_slog); destination(d_slog); };

创建管道文件

[root@web-node01 ~]# mkdir /data/kevin

[root@web-node01 ~]# mkfifo /data/kevin/log.pipe

启动syslog-ng服务

[root@web-node01 ~]# /etc/init.d/syslog-ng start

Plugin module not found in 'module-path'; module-path='/lib64/syslog-ng', module='afsql'

Starting syslog-ng: Plugin module not found in 'module-path'; module-path='/lib64/syslog-ng', module='afsql'

                                                           [  OK  ]

验证测试：

比如将客户端nginx服务日志信息导入到管道文件中

[root@web-node01 ~]# tail -f /etc/nginx/logs/access.log >> /data/kevin/log.pipe &

[root@web-node01 ~]# ps -ef|grep -v grep|grep "tail -f /etc/nginx/logs/access.log"

root     28598 25044  0 15:08 pts/2    00:00:00 tail -f /etc/nginx/logs/access.log

接着去syslon-ng的服务端查看，发现日志已经传过来了。

注意这个日志传输是实施在刷的，也就是说只要syslog-ng客户端那边的日志实时在刷，服务端这边就会实时地接收过来。

[root@syslog-ng ~]# tail -f /data/syslog-ng/kevin.log

Jul  4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:05:04 +0800] "GET / HTTP/1.1" 403 571 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

Jul  4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:05:04 +0800] "GET /favicon.ico HTTP/1.1" 404 571 "http://192.168.10.206:8080/" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

Jul  4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:05:32 +0800] "GET /a.txt HTTP/1.1" 200 10 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

Jul  4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:08:05 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

Jul  4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:08:06 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

Jul  4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:08:06 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

Jul  4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:08:07 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

Jul  4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:08:28 +0800] "GET /a.txt HTTP/1.1" 200 1136 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

Jul  4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:08:29 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

到此，一个简单的syslog-ng日志集中管理服务环境就部署成功了。

========================================================================================

需要注意的是：

上面实验仅仅是传输了客户端的nginx日志到远程日志服务器上，其实是可以配置传输多个日志的，只需要：

1）在syslog-ng服务端和客户端的syslog-ng.conf文件里配置多个source及destination即可！

2）多个配置时，记住端口一定不能配置成一样的，否则多个日志会被传输到远程服务器的同一个日志里！！默认端口是514，多配置的时候，可以用比如5514、5515、5516等端口。

如在上面配置传输nginx日志的基础上，再输出客户机的/var/log/message日志、/var/log/redis/redis.log日志和/var/log/slapd/slapd.log日志到syslog-ng服务器端，则需要添加操作：

1）在syslog-ng服务器端（192.168.10.205）需要添加配置：

[root@syslog-ng ~]# vim /etc/syslog-ng/syslog-ng.conf

......

source s_mem {

        udp(ip(0.0.0.0) port(5514));

};

source s_redis {

        udp(ip(0.0.0.0) port(5515));

};

source s_slapd {

        udp(ip(0.0.0.0) port(5516));

};

......

destination d_mem {

        file("/data/syslog-ng/mem.log");

};

destination d_redis {

        file("/data/syslog-ng/redis.log");

};

destination d_slapd {

        file("/data/syslog-ng/slapd.log");

};

......

log { source(s_mem);  destination(d_mem); };

log { source(s_redis);  destination(d_redis); };

log { source(s_slapd);  destination(d_slapd); };

创建日志存放文件

[root@syslog-ng ~]# touch /data/syslog-ng/mem.log

[root@syslog-ng ~]# touch /data/syslog-ng/redis.log

[root@syslog-ng ~]# touch /data/syslog-ng/slapd.log

[root@syslog-ng ~]# chmod 600 /data/syslog-ng/mem.log

[root@syslog-ng ~]# chmod 600 /data/syslog-ng/redis.log

[root@syslog-ng ~]# chmod 600 /data/syslog-ng/slapd.log

重启syslog-ng服务

[root@syslog-ng ~]# /etc/init.d/syslog-ng restart

Stopping syslog-ng:                                        [  OK  ]

Plugin module not found in 'module-path'; module-path='/lib64/syslog-ng', module='afsql'

Starting syslog-ng: Plugin module not found in 'module-path'; module-path='/lib64/syslog-ng', module='afsql'

                                                           [  OK  ]

[root@syslog-ng ~]# lsof -i:514

COMMAND     PID USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME

syslog-ng 32260 root   10u  IPv4 108534591      0t0  UDP *:syslog

[root@syslog-ng ~]# lsof -i:5514

COMMAND     PID USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME

syslog-ng 32260 root   11u  IPv4 108534592      0t0  UDP *:5514

[root@syslog-ng ~]# lsof -i:5515

COMMAND     PID USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME

syslog-ng 32260 root   12u  IPv4 108534593      0t0  UDP *:5515

[root@syslog-ng ~]# lsof -i:5516

COMMAND     PID USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME

syslog-ng 32260 root   13u  IPv4 108534594      0t0  UDP *:5516

2）在syslog-ng客户端（192.168.10.206）需要添加配置：

[root@web-node01 ~]# vim /etc/syslog-ng/syslog-ng.conf

......

source s_smem {

         pipe("/data/kevin/mem.pipe");

};

source s_sredis {

         pipe("/data/kevin/redis.pipe");

};

source s_slapd {

         pipe("/data/kevin/slapd.pipe");

};

......

destination d_smem { udp(192.168.10.205 port(5514)); };

destination d_sredis { udp(192.168.10.205 port(5515)); };

destination d_slapd { udp(192.168.10.205 port(5516)); };

......

log { source(s_smem); destination(d_smem); };

log { source(s_sredis); destination(d_sredis); };

log { source(s_slapd); destination(d_slapd); };

创建管道文件

[root@web-node01 ~]# mkfifo /data/kevin/mem.pipe

[root@web-node01 ~]# mkfifo /data/kevin/redis.pipe

[root@web-node01 ~]# mkfifo /data/kevin/slapd.pipe

重启syslog-ng服务

[root@web-node01 ~]# /etc/init.d/syslog-ng restart

Stopping syslog-ng:                                        [  OK  ]

Plugin module not found in 'module-path'; module-path='/lib64/syslog-ng', module='afsql'

Starting syslog-ng: Plugin module not found in 'module-path'; module-path='/lib64/syslog-ng', module='afsql'

                                                           [  OK  ]

然后进行日志传输

[root@web-node01 ~]# tail -f /var/log/messages >> /data/kevin/mem.pipe &

[root@web-node01 ~]# tail -f /var/log/redis/redis.log >> /data/kevin/redis.pipe &

[root@web-node01 ~]# tail -f /var/log/slapd/slapd.log >> /data/kevin/slapd.pipe &

[root@web-node01 kevin]# ps -ef|grep "tail -f"

root      4296  4295  0 15:53 ?        00:00:00 tail -f /var/log/messages

root      4302 25044  0 15:54 pts/2    00:00:00 tail -f /etc/nginx/logs/access.log

root      4360 25044  0 15:54 pts/2    00:00:00 tail -f /var/log/redis/redis.log

root      4431 25044  0 15:54 pts/2    00:00:00 tail -f /var/log/slapd/slapd.log

3）最后去syslog-ng服务器查看，发现日志已经成功传输过来了！

[root@syslog-ng ~]# ll /data/syslog-ng

total 48

-rw-------. 1 root root  5062 Jul  4 15:54 kevin.log

-rw-------. 1 root root 30279 Jul  4 15:55 mem.log

-rw-------. 1 root root   984 Jul  4 15:54 redis.log

-rw-------. 1 root root  1049 Jul  4 15:54 slapd.log

[root@syslog-ng ~]# tail -f /data/syslog-ng/mem.log          #如下日志的前面可以判断这些日志是从哪台客户机传过来的（web-node01这是客户机的主机名）

Jul  4 15:29:59 web-node01 openldap-slave Keepalived_vrrp[2637]: VRRP_Instance(VI_1) ignoring received advertisment...

Jul  4 15:30:01 web-node01 openldap-slave Keepalived_vrrp[2637]: (VI_1): ip address associated with VRID 51 not present in MASTER advert : 192.168.10.208

Jul  4 15:30:01 web-node01 openldap-slave Keepalived_vrrp[2637]: bogus VRRP packet received on eth0 !!!

Jul  4 15:30:01 web-node01 openldap-slave Keepalived_vrrp[2637]: VRRP_Instance(VI_1) ignoring received advertisment...

Jul  4 15:30:07 web-node01 openldap-slave Keepalived_vrrp[2637]: (VI_1): ip address associated with VRID 51 not present in MASTER advert : 192.168.10.208

[root@syslog-ng ~]# tail -f /data/syslog-ng/redis.log

Jul  4 15:54:19 web-node01 25274:S 07 May 10:37:15.851 * Background append only file rewriting started by pid 25277

Jul  4 15:54:19 web-node01 25274:S 07 May 10:37:15.910 * AOF rewrite child asks to stop sending diffs.

Jul  4 15:54:19 web-node01 25277:C 07 May 10:37:15.910 * Parent agreed to stop sending diffs. Finalizing AOF...

Jul  4 15:54:19 web-node01 25277:C 07 May 10:37:15.910 * Concatenating 0.00 MB of AOF diff received from parent.

Jul  4 15:54:19 web-node01 25277:C 07 May 10:37:15.910 * SYNC append only file rewrite performed

Jul  4 15:54:19 web-node01 25277:C 07 May 10:37:15.910 * AOF rewrite: 6 MB of memory used by copy-on-write

[root@syslog-ng syslog-ng]# tail -f slapd.log

May 22 16:20:13 web-node01 openldap-slave slapd[30022]: conn=1017 op=1 SRCH base="dc=kevin,dc=com" scope=2 deref=0 filter="(objectClass=*)"

May 22 16:20:13 web-node01 openldap-slave slapd[30022]: conn=1017 op=1 SRCH attr=* +

May 22 16:38:00 web-node01 openldap-slave slapd[30022]: conn=1018 fd=24 ACCEPT from IP=[::1]:60196 (IP=[::]:389)

May 22 16:38:00 web-node01 openldap-slave slapd[30022]: conn=1018 op=0 BIND dn="cn=Manager,dc=kevin,dc=com" method=128

May 22 16:38:00 web-node01 openldap-slave slapd[30022]: conn=1018 op=0 BIND dn="cn=Manager,dc=kevin,dc=com" mech=SIMPLE ssf=0

=======================温馨提示========================
在将客户机日志传输到远程syslog-ng服务器上后，为了方便查看日志是出于哪台客户机，需要在日志传输过程中进行打上标记。

比如在上面客户机传输nginx日志时打上标记，比如：

1）如果标记为web-node01-nginx.log，做法为：

在客户机上先创建管道文件，接着重启syslo-ng服务，然后再打标记，最后进行文件传输

[root@web-node01 ~]# mkfifo /data/kevin/log.pipe

[root@web-node01 ~]# /etc/init.d/syslog-ng start

[root@web-node01 ~]# sed -ri 's/(^.)/web-node01-nginx.log--\1/' /etc/nginx/logs/access.log

[root@web-node01 ~]# tail -f /etc/nginx/logs/access.log >> /data/kevin/log.pipe &

查看客户机的/etc/nginx/logs/access.log日志，发现标记已经打上了

[root@web-node01 ~]# tail -f /etc/nginx/logs/access.log

web-node01-nginx.log--172.16.42.183 - [04/Jul/2018:16:52:10 +0800] "GET /a.txt HTTP/1.1" 200 1136 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

web-node01-nginx.log--172.16.42.183 - [04/Jul/2018:16:52:10 +0800] "GET /favicon.ico HTTP/1.1" 404 571 "http://192.168.10.206:8080/a.txt" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

web-node01-nginx.log--172.16.42.183 - [04/Jul/2018:16:52:10 +0800] "GET /a.txt HTTP/1.1" 200 1136 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

然后去syslong-ng服务器端，查看传输过来的nginx日志，发现也打上了标记

[root@syslog-ng ~]# tail -f /data/syslog-ng/kevin.log

Jul  4 17:47:27 web-node01 web-node01-nginx.log--172.16.42.183 - [04/Jul/2018:16:52:10 +0800] "GET /a.txt HTTP/1.1" 200 1136 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

Jul  4 17:47:27 web-node01 web-node01-nginx.log--172.16.42.183 - [04/Jul/2018:16:52:10 +0800] "GET /favicon.ico HTTP/1.1" 404 571 "http://192.168.10.206:8080/a.txt" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

Jul  4 17:47:27 web-node01 web-node01-nginx.log--172.16.42.183 - [04/Jul/2018:16:52:10 +0800] "GET /a.txt HTTP/1.1" 200 1136 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

2）标记为kevin-test-haha，做法为：

[root@web-node01 ~]# sed -ri 's/(^.)/kevin-test-haha--\1/' /etc/nginx/logs/access.log

[root@web-node01 ~]# tail -f /etc/nginx/logs/access.log >> /data/kevin/log.pipe &

查看客户机的/etc/nginx/logs/access.log日志，发现标记已经打上了

[root@web-node01 ~]# tail -f /etc/nginx/logs/access.log

kevin-test-haha--172.16.42.183 - [04/Jul/2018:16:54:22 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

kevin-test-haha--172.16.42.183 - [04/Jul/2018:16:54:23 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

kevin-test-haha--172.16.42.183 - [04/Jul/2018:17:50:43 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

然后去syslong-ng服务器端，查看传输过来的nginx日志，发现也打上了标记

[root@syslog-ng ~]# tail -f /data/syslog-ng/kevin.log

Jul  4 17:54:03 web-node01 kevin-test-haha--172.16.42.183 - [04/Jul/2018:16:54:22 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

Jul  4 17:54:03 web-node01 kevin-test-haha--172.16.42.183 - [04/Jul/2018:16:54:23 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

Jul  4 17:54:03 web-node01 kevin-test-haha--172.16.42.183 - [04/Jul/2018:17:50:43 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -

3）其他日志打标记，做法和上面类似。

   注意：最好不要打多次标记，否则日志里就会显示多次标记！

=====================补充扩展：syslog-ng知识详解====================

一、syslog-ng设计原则

syslog-ng替代syslog是基于以下的设计原则的：

- 通过正规表达式协助，除支持原facility/level方式，还支持内容过滤等以建立更好的消息过滤机制；

- 支持主机链，即使日志消息经过多重网络转发，仍可找到原发出主机的信息和整个消息链；

- 支持强大的自定义配置，并且清晰、明了。

二、syslog-ng架构

syslog-ng的配置基于下面的架构：

LOG STATEMENTS  『SOURCES － FILTERS －   DESTINATIONS』

消息路径         『消息源  － 过滤器   －   目的站』

也就是说，通过定义多个消息源，把匹配上若干个过滤器的消息导向到指定的目的地，从而组成一个消息路径。

三、配置参数

1）消息源SOURCES

定义格式为：

source { sourcedriverparams; sourcedriverparams; ... };

含义：一个消息源的标识

sourcedriver：消息源驱动器，可以支持若干参数，并使用分号“；”隔离多个消息源驱动器

消息源驱动器有：

file (filename) ：从指定的文件读取日志信息

unix-dgram  (filename) ：打开指定的SOCK_DGRAM模式的unix套接字，接收日志消息

unix-stream (filename) ：打开指定的SOCK_STREAM模式的unix套接字，接收日志消息

udp ( (ip),(port) ) ：在指定的UDP端口接收日志消息

tcp ( (ip),(port) ) ：在指定的TCP端口接收日志消息

sun-streams (filename) ：在solaris系统中，打开一个（多个）指定的STREAM设备，从其中读取日志消息

internal() ： syslog-ng内部产生的消息

pipe(filename),fifo(filename) ：从指定的管道或者FIFO设备，读取日志信息

例如：

source s_sys {

   file ("/proc/kmsg" log_prefix("kernel: "));

   unix-stream ("/dev/log");

   internal();

   # udp(ip(0.0.0.0) port(514));     #如果取消注释，则可以从udp的514端口获取消息

};

注意：

linux使用/dev/log作为SOCK_STREAM unix的套接字，BSD使用/var/run/log；参数需要使用括号括住。

2）过滤器 FILTERS

定义格式为：

filter { expression; };

含义：一个过滤器标识

expression：表达式

表达式支持：

逻辑操作符：and（和）、or（或）、not（非）；

函数：可使用正规表达式描述内容

过滤函数有：

引用

facility(,)：根据facility（设备）选择日志消息，使用逗号分割多个facility

level(,)：根据level（优先级）选择日志消息，使用逗号分割多个level，或使用“..”表示一个范围

program(regexp)：日志消息的程序名是否匹配一个正则表达式

host(regexp)：日志消息的主机名是否和一个正则表达式匹配

match(regexp)：对日志消息的内容进行正则匹配

filter()：调用另一条过滤规则并判断它的值

例如：

filter f_filter2   { level(info..emerg) and

                    not facility(mail,authpriv,cron); };

注意：

这里的level定义info，相当于syslog的.=info，并不包括更低的等级；

若需要包括更低的等级，请使用“..”表示一个等级范围；

另外，filter(DEFAULT)，用于捕获所有没有匹配上的日志消息。filter(*)是无效的。

3）目的地DESTINATIONS

定义格式为：

destination { destdriverparams; destdriverparams;  ...  ;};

含义：一个目的地的标识

destdriver：目的地驱动器

目的地驱动器有：

file (filename) ：把日志消息写入指定的文件

unix-dgram  (filename) ：把日志消息写入指定的SOCK_DGRAM模式的unix套接字

unix-stream (filename) ：把日志消息写入指定的SOCK_STREAM模式的unix套接字

udp  (ip),(port) ：把日志消息发送到指定的UDP端口

tcp (ip),(port) ：把日志消息发送到指定的TCP端口

usertty(username) ：把日志消息发送到已经登陆的指定用户终端窗口

pipe(filename),fifo(filename) ：把日志消息发送到指定的管道或者FIFO设备

program(parm) ：启动指定的程序，并把日志消息发送到该进程的标准输入

举例：

destination d_mesg { file("/var/log/messages"); };

destination d_syslog { udp ("192.168.228.225" port(514)); };

注意：

配合使用udp或tcp即可实现集中的日志服务器。注意，udp函数的写法上和消息源驱动器中的定义不同。

4）消息路径LOG STATEMENTS

定义格式为：

log  { source S1; source S2; ... filter F1; filter F2; ... destination

      D1; destination D2; ... };

把消息源、过滤器、消息目的组合起来就形成一条完整的指令。日志路径中的成员是顺序执行的。凡是来源于指定的消息源，匹配所有指定的过滤器，并送到指定的地址。

注意：

同样的，每条日志消息都会经过所有的消息路径，并不是匹配后就不再往下执行的，请留意。

四、选项参数

除了上述的消息路径定义外，syslog-ng还可以设定一些选项参数以优化其操作。

全局的选项参数，定义在配置文件的开头位置（yum install -y man）：

# man syslog-ng.conf

# man 8 syslog-ng

options { opt1; opt2; ... };

选项有：

chain_hostnames(yes|no) ：是否打开主机名链功能，打开后可在多网络段转发日志时有效

long_hostnames(yes|no) ： 是chain_hostnames的别名，已不建议使用

keep_hostname(yes|no) ：  是否保留日志消息中保存的主机名称，否时，总是使用来源主机来作重写日志的主机名

use_dns(yes|no) ：  是否打开DNS查询功能，应使用防火墙保护使用syslog-ng的节点安全，并确认所有主机都是可以通过dns解释的，否则请关闭该选项。

use_fqdn(yes|no) ：  是否使用完整的域名

check_hostname(yes|no) ：  是否检查主机名有没有包含不合法的字符

bad_hostname(regexp) ：  可通过正规表达式指定某主机的信息不被接受

dns_cache(yes|no) ：  是否打开DNS缓存功能

dns_cache_expire(n) ：  DNS缓存功能打开时，一个成功缓存的过期时间

dns_cache_expire_failed(n) ：  DNS缓存功能打开时，一个失败缓存的过期时间

dns_cache_size(n) ：  DNS缓存保留的主机名数量

create_dirs(yes|no) ：  当指定的目标目录不存在时，是否创建该目录

dir_owner(uid) ：  目录的UID

dir_group(gid) ：  目录的GID

dir_perm(perm) ：  目录的权限，使用八进制方式标注，例如0644

owner(uid) ：  文件的UID

group(gid) ：  文件的GID

perm(perm) ：  文件的权限，同样，使用八进制方式标注

gc_busy_threshold(n) ： 当syslog-ng忙时，其进入垃圾信息收集状态的时间。一旦分派的对象达到这个数字，syslog-ng就启动垃圾信息收集状态。默认值是：3000。

gc_idle_threshold(n) ： 当syslog-ng空闲时，其进入垃圾信息收集状态的时间。一旦被分派的对象到达这个数字，syslog-ng就会启动垃圾信息收集状态，默认值是：100

log_fifo_size(n) ： 输出队列的行数

log_msg_size(n) ： 消息日志的最大值（bytes）

mark(n) ： 多少时间（秒）写入两行MARK信息供参考，目前没有实现

stats(n) ： 多少时间（秒）写入两行STATUS信息供，默认值是：600

sync(n) ： 缓存多少行的信息再写入文件中，0为不缓存，局部参数可以覆盖该值。

time_reap(n) ： 在没有消息前，到达多少秒，即关闭该文件的连接

time_reopen(n) ： 对于死连接，到达多少秒，会重新连接

use_time_recvd(yes|no) ： 宏产生的时间是使用接受到的时间，还是日志中记录的时间；建议使用R_的宏代替接收时间，S_的宏代替日志记录的时间，而不要依靠该值定义。

例如：

options {

   sync (0);

   time_reopen (10);

   log_fifo_size (1000);

   long_hostnames (off);

   use_dns (no);

   use_fqdn (no);

   create_dirs (no);

   keep_hostname (yes);

};

五、部分函数的参数

syslog-ng除了有全局选项参数外，不同的函数还可以定义其参数，其中包括：

1）扩展file的宏

HOST： 日志消息的源发主机名。如果日志消息穿过几个主机，并且chain_hostname（）功能已经打开，就使用第一个主机名。

FACILITY ： 日志消息来自的日志设备

PRIOPRITY/LEVEL ： 日志消息的优先级

PROGRAM ： 发送日志消息的程序

YEAR ： 发送日志消息的年份，这个宏既可以指定日志消息送出的时间，也可以指定日志消息收到的时间。这由use_time_recvd（）选项控制

MONTH ： 发送日志消息的月份

DAY ： 发送日志消息的日子

HOUR ： 小时

MIN ： 分钟

SEC ： 秒

2）file的参数

例如：log_file_size（）、sync（）、owner（）、perm（）等，请参考上面的全局设定

3）tcp和upd的参数

ip（xxx.xxx.xxx.xxx）：定义绑定的IP地址

port（n）：定义绑定的端口

max-connections（n）：定义最大连接数

注意：

TCP基于连接方式传输，不会造成日志丢失，而UDP则不同。但因为传统的syslog基于UDP的514端口，所以，UDP方式也经常会使用到。

另外，514也是rshell的默认端口，请注意冲突。

举例：

destination d_mail { file("/var/log/maillog" sync(10)); };

这里定义的sync(10)会覆盖全局配置，表示若写入的日志数量达到10，才写入maillog文件。

六、关于垃圾收集状态

当满足一定的条件，syslog-ng即会进入垃圾收集状态，而暂时不再接受日志信息。这时，会造成非连接的传输协议的日志丢失（例如UDP）。

选项可以控制：

gc_idle_threshold(n) ：

意思是，一旦被分派的对象到达这个数字，并且当 syslog-ng空闲时（100微秒内没有日志消息到达）。此时，syslog-ng就会启动垃圾信息收集状态。

已分配的对象可通过-v命令行参数指定其的最小值。而syslog-ng这个值应该比较小，但比已分配的对象要大即可。

例如，空闲状态，syslog-ng会显示：

Nov 13 16:35:35 syslogng syslog-ng[4510]: STATS: dropped 0

Nov 13 16:45:35 syslogng syslog-ng[4510]: STATS: dropped 0

当忙时：

gc_busy_threshold(n) ：当syslog-ng忙时，一旦分派的对象达到这个数字，syslog-ng就进入垃圾信息收集状态的时间。该值应该比较高，以保证正常情况下不会打断日志消息的收取。

相关文章