SetEnvIfNoCase User-Agent Baiduspider baidu_robotLogFormat “%h %t \”%r\” %>s %b” robotlinux下CustomLog “|/usr/local/apache2.2.0/bin/rotatelogs /usr/local/apache2.2.0/logs/baidu_%Y%m%d.txt 86400 480″ robot env=baidu_robotwindows下CustomLog “|bin/rotatelogs.exe logs/baidu_%Y%m%d.txt 86400 480″ robot env=baidu_robot这样在logs目录下,就会每天产生baidu_年月日.txt的日志了,每条的记录和下面的类似:61.135.168.14 [22/Oct/2008:22:21:26 +0800] “GET / HTTP/1.1″ 200 8427四、去掉日志中的图片、js、css、swf文件<FilesMatch "\.(ico|gif|jpg|png|bmp|swf|css|js)">SetEnv IMAG 1</FilesMatch>CustomLog "|bin/cronolog.exe logs/cpseadmin/access_%Y%m%d.log" combined env=!IMAG清除error.log、access.log并限制Apache日志文件大小的方法Apache下的access.log和error.log文件从安装服务器到现在没有动过,今天突然discuz 的MYSQL数据库连接错误,提示2003 错误,检查发现原来是error.log、access.log爆满,文件达到30个G,奶奶的,立马搜索,得把这两个小子干掉。下面是在网上搜索到的方法,立马见效,顶一个!在 Windows 下的设置例子如下:第一步:删除 Apache2/logs/目录下的 error.log、access.log文件第二步:打开 Apache 的 httpd.conf配置文件并找到下面两条配置ErrorLog logs/error.logCustomLog logs/access.log common直接注释掉,换成下面的配置文件。# 限制错误日志文件为 1MErrorLog “|bin/rotatelogs.exe -l logs/error-%Y-%m-%d.log 1M”# 每天生成一个错误日志文件#ErrorLog “|bin/rotatelogs.exe -l logs/error-%Y-%m-%d.log 86400″# 限制访问日志文件为 1MCustomLog “|bin/rotatelogs.exe -l logs/access-%Y-%m-%d.log 1M” common# 每天生成一个访问日志文件#CustomLog “|bin/rotatelogs.exe -l logs/access-%Y-%m-%d.log 86400″ common参考:Apache下的access.log和error.log文件处理方法这几天有会员和我说到网站访问速度越来越慢。我查了一下,看到Apache2下面有两个日志文件非常大了,加起来有800多M了。分别是access.log和error.log。于是在网上找找了给access.log和error.log减肥的方法,这个方法可让这两个文件按每天日期生成。这样你可以选择把前面的旧文件删除了。在Apache下的httpd.conf配置文件下找到下面两句:ErrorLog logs/error.logCustomLog logs/access.log common然后把这两句分别改为如下:CustomLog “|D:/apache2/bin/rotatelogs.exe D:/apache2/logs/access_%Y_%m_%d.log 86400 480″ commonErrorLog “|D:/apache2/bin/rotatelogs.exe D:/apache2/logs/error_%Y_%m_%d.log 86400 480″一切就这么简单,这样这两个日志文件每天都会起一个新文件,就不至于单个文件太大,打不开,而无法看到日志信息了.你还可以把前面的日志文件删除。access.log,件在 WEB 服务器运行一段时间之后会达到几十兆甚至上百兆,如果Apache运行有错误,error.log也会增大到几十兆,我们知道系统读写一个大的文本文件是非常耗内存的,因此限定日志文件大小十分必要。日志文件大小的配置指令,通过参考http://httpd.apache.org/docs/2.0/programs /rotatelogs.html,可以用apache 自己的程序 rotatelogs.exe(位于 {$apache}/bin/目录下),来限制日志文件的大小。Usage: rotatelogs [-l] [offset minutes from UTC] orAdd this:TransferLog “|rotatelogs /some/where 86400″orTransferLog “|rotatelogs /some/where 5M”to httpd.conf. The generated name will be /some/where.nnnn where nnnn is the system time at which the log nominally starts (N.B. if using a rotation time, the time will always be a multiple of the rotation time, so you can synchronizecron scripts with it). At the end of each rotation time or when the file size is reached a new log is started.在 Windows 下的设置例子如下:# 限制错误日志文件为 1MErrorLog “|bin/rotatelogs.exe -l logs/error-%Y-%m-%d.log 1M”# 每天生成一个错误日志文件#ErrorLog “|bin/rotatelogs.exe -l logs/error-%Y-%m-%d.log 86400″# 限制访问日志文件为 1MCustomLog “|bin/rotatelogs.exe -l logs/access-%Y-%m-%d.log 1M” common# 每天生成一个访问日志文件#CustomLog “|bin/rotatelogs.exe -l logs/access-%Y-%m-%d.log 86400″ commonlinux/Unix下 应该类似。清除apache的access.log方法有个客户服务器是用apache搭建的,最近总是感觉站很慢,服务器很慢很卡,有时候甚至网站都打不开,后来经过排查分析原来是里面的access.log和error.log这两个文件要经常上去看,和清理,如果时间忙,忘记看和清理了,过不了多久,这两个文件就膨胀的非常的大,打都打不开了。 下面就跟你说下 清理access.log和error.log这两个日志文件的方法希望对大家有些帮助。也怀疑怀疑是有其他的爬虫,明天都在爬我的几个网站。优化access.log和error.log的方法如下 :CustomLog “|D:/thridparty-system/java/apache2/bin/rotatelogs.exe D:/thridparty-system/java/apache2/logs/access_%Y_%m_%d.log 86400 480″ commonErrorLog “|D:/thridparty-system/java/apache2/bin/rotatelogs.exe D:/thridparty-system/java/apache2/logs/error_%Y_%m_%d.log 86400 480″一切就这么简单,这样这两个日志文件每天都会起一个新文件,就不至于单个文件太大,打不开,而无法看到日志信息了.解决Apache日志文件ACCESS.LOG日益膨胀的一个办法将httpd.conf中customlog logs/access.log common 改成customlog “|c:/apache/bin/rotatelogs c:/apache/logs/%y_%m_%d.access.log 86400 480″ common重启apache其中c:/apache/是你安装apache的路径这样每一天生成一个日志文件解决Apache日志文件ACCESS.LOG日益膨胀的一个办法