在Linux上搭建日志服务器过程 http://www.linuxidc.com/Linux/2008-01/10420p2.htm
1 创建日志服务器,用来接收客户端发送来的日志,采用Linux系统默认的syslog程序配置syslog程序,使其能够接收其他服务器发来的日志。为了将日志按服务器ip分类,可以将syslogd程序配置如下,需要修改一下/etc/syslog.conf文件:
authpriv.* |/var/log/servers/server_login.sh
这表示把系统的登入登出日志(包括本机系统登陆登出日志)存放到/var/log/servers文件夹下。在记录目标前面加上“|”表示把接收到的信息交给后面的程序处理,这个程序可以是一个专门的日志处理软件,也可以是一个自己编写的小的脚本,举例:
#!/bin/sh
read stuff
SERVER=`echo $stuff |awk ‘{print $4}’`
echo $stuff >> /var/log/login_log/$SERVER.log
这个简单的脚本以IP作为分类依据,先用read读取log信息,用awk取出第四字段(即IP地址或者主机名所在的字段),以该字段为文件名存放该主机的日志。这样一来,来自192.168.1.1的log会记录到192.168.1.1.log文件中,来自192.168.1.2的log会被记录在192.168.1.2.log文件中,分析和归类就比较方便了。甚至把log信息分类后插入数据库中,这样日志的管理和分析就更方便了。
2 配置linux客户端,发送其日志到日志服务器。
3 配置windows服务器,使其发送日志到日志服务器。需要安装一个第三方软件,名字叫eventsys,用于转发日志到linux系统的syslog日志服务程序。下载地址为:
https://engineering.purdue.edu /ECN/Resources/Documents/UNIX/evtsys解压后是两个文件evtsys.dll和evtsys.exe ,把这两个文件拷贝到 c:\windows\system32目录下。
打开Windows命令提示符(开始->运行 输入CMD)
C:\>evtsys –i –h 192.168.0.2
-i 表示安装成系统服务
-h 指定log服务器的IP地址
打开windows组策略编辑器 (开始->运行 输入 gpedit.msc),在windows设置-> 安全设置 -> 本地策略 ->审核策略中,打开你需要记录的windows日志。evtsys会实时的判断是否有新的windows日志产生,然后把新产生的日志转换成syslogd可识别的格式,通过UDP 3072端口发送给syslogd服务器。
所不同的是evtsys是以daemon设备的方式发送给 syslogd log信息的。
因此,需要在/etc/syslog.conf中加入:
daemon.notice |/var/log/server_login.sh
看完此文后,心里大概有了一个谱了,知道该怎样操作了,可是还有一些细节性的问题需要搞清楚:
1:第一步关于建立日志服务器讲得不是很清楚,后面四行编写的脚本是不是就是前面的程序server_login.sh?然后这一步是不是仅仅就写一个脚本和改动一下syslog.conf文件就可以了?总觉得没有这么简单。
2:第二步讲的更不清楚,如何配置Linux客户端,使其发送其日志到日志服务器?另外我们的很多服务器采用的是Linux AS4系统,日志服务器如果安装的版本与它不同或者说低于它(如RedHat Linux9),能否同样完成日志的传送?
3:第三步配置Windows客户端有一个问题,就是Windows客户端记录系统日志使用的是系统自带的Eventvwr.msc组件,此组件记录的日志分为三部分:应用程序日志、系统日志和安全性日志,那么在发送日志到日志服务器的时候,是不是将三部分统统发送?
4:很多专有系统有自己自带的日志记录工具,如:计费服务器和邮件服务器,那么这部分的日志能不能够被记录到日志服务器?如果能,又该如何操作?
5:最后一个问题是,有没有一款基于Windows系统的搭建日志服务器的软件?当然,它能够跨系统接收Linux、Solaris和FreeBSD等OS发送的日志。
Linux syslog服务
syslog配置文件如下
-----------------------------------------------------------------
[root@server ~]# vim /etc/syslog.conf
# Log all kernel messages to the console.
# Logging much else clutters up the screen.
#kern.* /dev/console
# Log anything (except mail) of level info or higher.
# Don't log private authentication messages!
*.info;mail.none;authpriv.none;cron.none
/var/log/messages
# The authpriv file has restricted access.
authpriv.*
/var/log/secure
# Log all the mail messages in one place.
mail.*
-/var/log/maillog
# Log cron stuff
cron.*
/var/log/cron
# Everybody gets emergency messages
*.emerg
*
# Save news errors of level crit and higher in a special file.
uucp,news.crit
/var/log/spooler
# Save boot messages also to boot.log
local7.*
----------------------------------------------------------------- |
三、 搭建Linux日志服务器:
-----------------------------------------------------------------
[root@client ~]#
vim /etc/sysconfig/syslog
# Options to syslogd
# -m 0 disables 'MARK' messages.
# -r enables logging from remote machines
# -x disables DNS lookups on messages recieved with -r
# See syslogd(8) for more details
SYSLOGD_OPTIONS="-r -m 0"
# Options to klogd
# -2 prints all kernel oops messages twice; once for klogd to decode, and
#
once for processing with 'ksymoops'
# -x disables all klogd processing of oops messages entirely
# See klogd(8) for more details
KLOGD_OPTIONS="-x"
#
SYSLOG_UMASK=077
# set this to a umask value to use for all log files as in umask(1).
# By default, all permissions are removed for "group" and "other".
----------------------------------------------------------------- |
-----------------------------------------------------------------
[root@client ~]# service syslog restart
关闭内核日志记录器:
[
确定]
关闭系统日志记录器:
[
确定]
启动系统日志记录器:
[
确定]
启动内核日志记录器:
[
确定]
[root@client ~]#
----------------------------------------------------------------- |
四、配置各客户端:
1、配置 /etc/syslog.conf
修改客户机/etc/syslog.conf文件,在有关配置行的操作动作部分用一个“@”字符指向日志服务器
-----------------------------------------------------------------
[root@client ~]#
vim /etc/syslog.conf
# Log all kernel messages to the console.
# Logging much else clutters up the screen.
#kern.*
/dev/console
*.* @10.64.165.210
# The authpriv file has restricted access.
authpriv.*
/var/log/secure
……
下面省略
----------------------------------------------------------------- |
2、重启客户端syslog使设置生效。
检测成果:
下图是我们在客户端重启iptables服务后在服务端看到的日志情况:
-----------------------------------------------------------------
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
http://www.cnblogs.com/wangkangluo1/archive/2012/05/30/2526011.html
Linux日记系统由系统日志监控程序syslogd和内核日志监控程序klogd组成。从它们的命名可以看到,这两个监控程序都是守护程序(daemon),且都注册成了系统服务。换句话说,我们可以在目录/etc/init.d/下找到它们对应的执行程序,并通过service命令对它们进行启动,关闭,重启等操作。/etc/syslog.conf文件是Linux日记系统的配置文件。下面是本人/etc/syslog.conf文件内容(ubuntu下为/etc/rsyslog.conf):
- # Log all kernel messages to the console.
- # Logging much else clutters up the screen.
- #kern.* /dev/console
- # Log anything (except mail) of level info or higher.
- # Don't log private authentication messages!
- *.info;mail.none;authpriv.none;cron.none /var/log/messages
- # The authpriv file has restricted access.
- authpriv.* /var/log/secure
- # Log all the mail messages in one place.
- mail.* -/var/log/maillog
- # Log cron stuff
- cron.* /var/log/cron
- # Everybody gets emergency messages
- *.emerg *
- # Save news errors of level crit and higher in a special file.
- uucp,news.crit /var/log/spooler
- # Save boot messages also to boot.log
- local7.* /var/log/boot.log
在对这个配置文件进行详细的解释之前,我们先看一下在Linux C编程中如何利用syslog进行日记。
syslog APIs
Linux C中提供一套系统日记写入接口,包括三个函数:openlog,syslog和closelog。
调用openlog是可选择的。如果不调用openlog,则在第一次调用syslog时,自动调用openlog。调用closelog也是可选择的,它只是关闭被用于与syslog守护进程通信的描述符。
下面是这三个函数的调用格式:
其中openlog和closelog都是可选的。不过,通过调用openlog,我们www.linuxidc.com可以指定ident参数。这样,ident将被加到每条日记记录中。ident一般设成程序的名字,如在下面例子中的"testsyslog":
- #include <syslog.h>
- int main(int argc, char *argv[])
- {
- openlog("testsyslog", LOG_CONS | LOG_PID, 0);
- syslog(LOG_USER | LOG_INFO, "syslog test message generated in program %s \n", argv[0]);
- closelog();
- return 0;
- }
编译生成可执行文件后,每运行一次,程序将往/var/log/messages添加一条如下的记录:
- Apr 23 17:15:15 lirong-920181 testsyslog[27214]: syslog test message generated in program ./a.out
格式基本是:timestamp hostname ident[pid]:log message。其中ident就是我们调用openlog是指定的"testsyslog",而之所以会打印出[27214]是openlog的option参数中指定了LOG_PID。下面我们详细讨论openlog函数中的option,facility和syslog函数中的priority参数。
根据/usr/include/sys/syslog.h文件,我们可以看到syslog支持的option如下:
- /*
- * Option flags for openlog.
- *
- * LOG_ODELAY no longer does anything.
- * LOG_NDELAY is the inverse of what it used to be.
- */
- #define LOG_PID 0x01 /* log the pid with each message */
- #define LOG_CONS 0x02 /* log on the console if errors in sending */
- #define LOG_ODELAY 0x04 /* delay open until first syslog() (default) */
- #define LOG_NDELAY 0x08 /* don't delay open */
- #define LOG_NOWAIT 0x10 /* don't wait for console forks: DEPRECATED */
- #define LOG_PERROR 0x20 /* log to stderr as well */
-
我们可以通过与操作结合这些option。syslog支持的faclility如下:
- /* facility codes */
- #define LOG_KERN (0<<3) /* kernel messages */
- #define LOG_USER (1<<3) /* random user-level messages */
- #define LOG_MAIL (2<<3) /* mail system */
- #define LOG_DAEMON (3<<3) /* system daemons */
- #define LOG_AUTH (4<<3) /* security/authorization messages */
- #define LOG_SYSLOG (5<<3) /* messages generated internally by syslogd */
- #define LOG_LPR (6<<3) /* line printer subsystem */
- #define LOG_NEWS (7<<3) /* network news subsystem */
- #define LOG_UUCP (8<<3) /* UUCP subsystem */
- #define LOG_CRON (9<<3) /* clock daemon */
- #define LOG_AUTHPRIV (10<<3) /* security/authorization messages (private) */
- #define LOG_FTP (11<<3) /* ftp daemon */
facility的ID(上面对应的数值)与名字的对应关系如下:
- { "auth", LOG_AUTH },
- { "authpriv", LOG_AUTHPRIV },
- { "cron", LOG_CRON },
- { "daemon", LOG_DAEMON },
- { "ftp", LOG_FTP },
- { "kern", LOG_KERN },
- { "lpr", LOG_LPR },
- { "mail", LOG_MAIL },
- { "mark", INTERNAL_MARK }, /* INTERNAL */
- { "news", LOG_NEWS },
- { "security", LOG_AUTH }, /* DEPRECATED */
- { "syslog", LOG_SYSLOG },
- { "user", LOG_USER },
- { "uucp", LOG_UUCP },
这个对应关系作用是是将syslog系统调用中facility ID和syslog.conf文件中的配置选项对应起来。后面将详细讲解。facility的作用是指明调用syslog应用的类型。syslog支持的priority如下:
- #define LOG_EMERG 0 /* system is unusable */
- #define LOG_ALERT 1 /* action must be taken immediately */
- #define LOG_CRIT 2 /* critical conditions */
- #define LOG_ERR 3 /* error conditions */
- #define LOG_WARNING 4 /* warning conditions */
- #define LOG_NOTICE 5 /* normal but significant condition */
- #define LOG_INFO 6 /* informational */
- #define LOG_DEBUG 7 /* debug-level messages */
priority的ID(上面对应的数值)与名字的对应关系如下:
- { "alert", LOG_ALERT },
- { "crit", LOG_CRIT },
- { "debug", LOG_DEBUG },
- { "emerg", LOG_EMERG },
- { "err", LOG_ERR },
- { "error", LOG_ERR }, /* DEPRECATED */
- { "info", LOG_INFO },
- { "none", INTERNAL_NOPRI }, /* INTERNAL */
- { "notice", LOG_NOTICE },
- { "panic", LOG_EMERG }, /* DEPRECATED */
- { "warn", LOG_WARNING }, /* DEPRECATED */
- { "warning", LOG_WARNING },
这个对应关系的作用和facility情况是相同的,都是为了与syslog.conf文件中的配置选项对应起来。priority的作用是指明日记记录的优先级,也可以理解成记录时间的严重程度。在实际使用中,syslog函数中的priority参数实际上是前面提到的facility和priority的组合,通过与操作。
回到前面提到的syslog.conf文件和testsyslog的程序,根据前面的分析,我们来研究一下为什么testsyslog会将日记记录写到文件/var/log/messages中,而不是别的文件。
syslog.conf文件行的基本语法是这样的:
[消息类型(规则)] [处理方案(日记文件)]
这里需要注意的是,两者之间必须用一个或者多个Tab字符分开。消息类型是由”消息来源“(facility)和”紧急程度“(priority)构成,中间点号连接。如前面syslog.conf文件中的news.crit表示来自news的”关键“状况。这里,news表示消息来源,crit表示关键状况。通配符*表示一切消息来源,如第一条规则:*.info,将info级以上(notice,warning, err, alert, emerg)(priority表)的所有消息发送到日记文件/var/log/messages。而testsyslog程序中,调用syslog函数时指定的priority是LOG_USER | LOG_INFO,根据上面提到的ID和名字对应的关系,对应的消息类型规则是user.info,包含在规则*.info中,所以日记记录会写到/var/log/messages。
修改syslog.conf文件
一般来说,我们希望能够为自己的应用程序指定特定的日记文件。这时候,我们就需要修改syslog.conf文件。假设我们现在要把调试(debug)日记记录写到文件/var/log/debug文件中。第一步要做的是,在syslog.conf文件添加如下消息规则作为第一条规则:
- user.debug /var/log/debug
要是添加的新规则生效,第二步我们需要重启syslogd和klogd:service syslog restart(ubuntu下为/etc/init.d/rsyslog restart)
为了测试新规则是否生效,我们可以将testsyslog修改如下:
- #include <syslog.h>
- int main(int argc, char *argv[])
- {
- openlog("testsyslog", LOG_CONS | LOG_PID, 0);
- syslog(LOG_USER | LOG_DEBUG, "syslog test message generated in program %s \n", argv[0]);
- closelog();
- return 0;
- }
编译生成执行文件后,每运行一次,/var/log/debug文件都会增加一条新的记录
绝大多数命令行工作是针对文件的。我们会在本节中讨论如何观察及过滤文件内容,使用一条命令从文件中提取所需信息,以及对文件的内容进行排序。
这些命令的语法基本上相同的:命令名 [选项] [文件],而且您可以在管道中使用这些命令。这些命令的功能都是根据特定的条件选择文件内容进行打印。
cat 工具会将文件的全部内容打印到标准输出。这是最常用的命令之一。例如,您可以使用:
# cat /var/log/mail/info |
将邮件程序守护程序日志的内容打印到标准输出[14]。cat 命令有一个非常有用的选项(-n),该选项将允许您打印行号。
某些文件,如守护程序日志文件(如果相应的守护程序运行了的话)可能非常大[15],在屏幕上打印全部内容可能没什么必要。您经常只是需要看看一个文件的某几行。您可以使用tail 命令完成这一功能。默认情况下,下面的命令将会打印 /var/log/mail/info 文件的最后十行:
# tail /var/log/mail/info |
您可以使用 -n 选项显示文件的最后 N 行。例如,要显示最后两行,您应该执行:
# tail -n2 /var/log/mail/info |
而 head 命令与tail 十分相似,只是打印文件的头几行。默认情况下,下面的命令将会打印/var/log/mail/info 文件的头十行:
# head /var/log/mail/info |
和 tail 一样,您也可以使用-n 选项指定要打印的行数。例如,要打印前两行,您应该执行:
# head -n2 /var/log/mail/info |
您还可以组合使用这几条命令。例如,如果您想要只显示第九行和第十行,您可以先使用 head 命令选择文件的前十行,然后再将结果通过管道送到 tail 命令。
# head /var/log/mail/info | tail -n2 |
竖线后面的部分将选择最后两行,然后将其打印到屏幕。同样地,您也可以选择只打印文件的倒数第 20 行:
# tail -n20 /var/log/mail/info |head -n1 |
在本例中,我们让 tail 选择了文件的最后 20 行,然后将结果通过管道传送给head。然后 head 命令将会从得到的数据中取出第一行打印到屏幕上。
现在我们假定您想要将上例中的结果在屏幕上显示的同时还保存到文件 results.txt。tee 工具可以帮到我们。其语法是:
tee [选项] [文件] |
# tail -n20 /var/log/mail/info |head -n1|tee results.txt |
我们再来举一个例子。我们想要选择最后 20 行,将其保存到 results.txt,但是只在屏幕上显示这 20 行中的第一行。那么,我们应该输入:
# tail -n20 /var/log/mail/info |tee results.txt |head -n1 |
tee 命令有一个非常有用的选项(-a),它允许您将数据追加到已有文件。
让我们再回过头来看看 tail 命令。像日志这样的文件应该是在不断变化的,因为与其相关的守护程序每时每刻都在记录着它所执行的动作和发生的事件。所以,如果您想要交互地观看日志文件,您可以使用-f 选项:
# tail -f /var/log/mail/info |
在本例中,/var/log/mail/info 文件的所有更改都会立即打印到屏幕上。当您想要知道您系统的工作原理时,使用带-f 选项的 tail 命令将非常有用。例如,通过查看/var/log/messages 日志文件,您可以时刻跟踪系统信息和各种守护程序。
不管是命令的名字还是缩写(“General Regular Expression Parser”)都显得非常古怪,但该命令的作用和用法却很简单:grep 将在一个或多个文件中查找给定的模式。其语法为:
grep [选项] <模式> [一个或多个文件] |
如果列出了多个文件,将会在每一行结果的开头附加相应的文件名。使用 -h 选项可以不显示这些文件名;使用 -l 选项可以只列出文件名。模式是一个正则表达式,尽管在大多数情况下只是一个简单的单词。下面列出了最常用的几个选项:
让我们回到对邮件守护程序日志文件的分析中。我们想要在 /var/log/mail/info 中找到包含“postfix”模式的所有行。我们就需要输出这个命令:
# grep postfix /var/log/mail/info |
grep 命令可用于管道。这样,下面的命令与上面的例子所得到的结果相同:
# cat /var/log/mail/info | grep postfix |
如果我们想要找到不与“postfix”模式匹配的所有行,我们就应该使用-v 选项:
# grep -v postfix /var/log/mail/info |
现在,我们假定想要查找关于成功发出的邮件的全部信息。这样,我们需要找到邮件守护程序(包含“postfix”模式)在日志文件中添加的行,而且这些行还必须包含成功发送的信息(“status=sent”):
# grep postfix /var/log/mail/info |grep status=sent |
我们在本例中使用了两次 grep。这种方法虽然可以达到我们的目的,但显得有点麻烦。我们可以使用fgrep 工具达到相同的效果。首先,我们需要创建一个包含需要匹配的模式的文件。这样的文件可以用这种方式来创建(我们使用patterns.txt 来作为文件名):
# echo -e 'status=sent\npostfix' >./patterns.txt |
然后,我们将会用 patterns.txt 文件中的模式列表作为参数调用fgrep 工具,而不是“两次调用”grep:
# fgrep -f ./patterns.txt /var/log/mail/info |
文件 ./patterns.txt 可以包含您喜欢的任意多个模式。每个模式都必须独占一行。例如,要选择已经成功发送给peter@mandrakesoft.com 的邮件的有关信息,只需将此电子邮件地址添加到 ./patterns.txt 文件,试试这条命令:
# echo 'peter@mandrakesoft.com' >>./patterns.txt |
显然,您可以将 grep 与tail 或者 head 组合起来使用。如果我们想要查找上上次发送给peter@mandrakesoft.com 的邮件,只需输入:
# fgrep -f ./patterns.txt /var/log/mail/info | tail -n2 | head -n1 |
wc 命令(Word Count)用于统计文件中的字符串的数量。它还可用于统计字节数、字符数以及最长行的长度。其语法为:
wc [选项] [文件] |
wc 命令默认情况下会打印换行符数、单词数和字符数。下面是一些例子:
$wc -l /etc/passwd |
$grep "model name" /proc/cpuinfo |wc -l |
在上一节中,我们通过 ./patterns.txt 文件获取了成功发送到指定电子邮件地址的邮件列表。如果我们想要知道一共有多少封邮件,那么可以将过滤结果重定向到wc 命令的管道:
# fgrep -f ./patterns.txt /var/log/mail/info | wc -l |
下面列出了这一强大工具的语法[16]:
sort [选项] [文件] |
现在我们来考虑一下对 /etc/passwd 文件进行排序。正如您看到的,这个文件并未经过排序:
$ cat /etc/passwd |
$ sort /etc/passwd |
默认情况下,sort 命令会按照第一个域(本例中就是login)对数据进行升序排序。如果我们想要以降序方式排序,可以使用选项 -r:
$ sort -r /etc/passwd |
每个用户在 /etc/passwd 文件中都有他自己的UID。现在我们来试试按照 UID 域进行升序排序:
$ sort /etc/passwd -t":" -k3 -n |
$ sort /etc/passwd -t":" -k3 -n -r |
最后,如果我们想要找到 UID 最高的用户,可以使用这条命令:
$ sort /etc/passwd -t":" -k3 -n |tail -n1 |
我们先是对 /etc/passwd 文件按 UID 进行了升序排序,然后将结果通过管道传送给tail 命令,它会输出排序列表的最后一行。
[14]本节中有一些例子是基于实际网络和服务器日志文件的(服务、守护程序)。请确定 syslogd(允许记录守护程序日志)以及相应的守护程序(本例中为Postfix)已经运行,而您已经是 root 了。当然,您总是可以将我们的例子应用到其他文件。
[15]例如,/var/log/mail/info 文件包含了所有发出邮件的信息,用户通过 POP 协议获取邮件的信息,等等。
[16]我们只在这里简单讨论 sort,因为光这一个命令的用法就可以写一本书。