Apache/Nginx/IIS日志记录的各个字段内容与含义

时间:2023-08-08 17:37:44

一、Apache

1.1 Apache日志文件名称及路径介绍

当我们安装并启动Apache后,Apache会自动生成两个日志文件,这两个日志文件分别是访问日志access_log(在Windows上是access.log)和错误日志error_log(在Windows上是error.log)。路径一般在Apache的logs文件中。

1.2 Apache访问日志格式详解

访问日志access_log记录了所有对Web服务器的访问活动,下面是访问日志access_log中的一个标准记录

192.168.5.100 - - [01/Apr/2020:10:37:19 +0800] "GET / HTTP/1.1" 200 45

日志字段所代表的内容如下:

1.远程主机IP:表明访问网站的是谁

2.空白(E-mail):为了避免用户的邮箱被垃圾邮件骚扰,第二项就用"-"取代了

3.空白(登录名):用于记录浏览者进行身份验证时提供的名字。

4.请求时间:用方括号包围,而且采用"公用日志格式"或者"标准英文格式"。 时间信息最后的"+0800"表示服务器所处时区位于UTC之后的8小时。

5.方法+资源+协议:服务器收到的是一个什么样的请求。该项信息的典型格式是"METHOD RESOURCE PROTOCOL",即"方法 资源 协议"。

METHOD: GET、POST、HEAD、……
RESOURCE: /、index.html、/default/index.php、……(请求的文件)
PROTOCOL: HTTP+版本号

6.状态代码:请求是否成功,或者遇到了什么样的错误。大多数时候,这项值是200,它表示服务器已经成功地响应浏览器的请求,一切正常。

7.发送字节数:表示发送给客户端的总字节数。它告诉我们传输是否被打断(该数值是否和文件的大小相同)。把日志记录中的这些值加起来就可以得知服务器在一天、一周或者一月内发送了多少数据。

1.3 Apache访问日志配置

(1)访问日志格式分类

apache中日志记录格式主要有两种,普通型(common)和复合型(combined),安装时默认使用普通型(common)类型日志记录访问信息,

(2)配置Apache访问日志格式命令及参数

配置Apache访问日志格式主要有两个参数,即LogFormat指令和CustomLog指令

LogFormat指令:定义格式并为格式指定一个名字,以后我们就可以直接引用这个名字。

CustomLog指令:设置日志文件,并指明日志文件所用的格式(通常通过格式的名字)。

在apache的配置文件httpd.conf中,有几行是这么配置的:

LogFormat "%h %l %u %t "%r" %>s %b" common   定义格式和名字

CustomLog "logs/access.log" common    普通文件记录

%h

%I

%u

%t

%r

%>s

%b

远端主机

远端登录名

远程用户名

时间

请求第一行

状态

传送字节

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

CustomLog   logs/access_log combined     复合日志记录

%{Referer}i\

\"%{User-Agent}i\

请求来源

客户端浏览器提供的浏览器识别信息

访问日志文件的位置实际上是一个配置选项。如果我们检查httpd.conf配置文件,可以看到该文件中有如下这行内容:

CustomLog /usr/local/apache/logs/access_log common

CustomLog指令指定了保存日志文件的具体位置以及日志的格式。上面这行指令指定的是common日志格式,自从有了Web服务器开始,common格式就是它的标准格式。

1.4 Apache错误日志格式详解

错误日志的文件名字是error_log(Windows平台是error.log)。错误日志的位置可以通过ErrorLog指令设置:ErrorLog logs/error.log,除非文件位置用根"/"开头,否则这个文件位置是相对于ServerRoot目录的相对路径。

错误日志无论在格式上还是在内容上都和访问日志不同。然而,错误日志和访问日志一样也提供丰富的信息,我们可以利用这些信息分析服务器的运行情况、哪里出现了问题。

错误日志记录了服务器运行期间遇到的各种错误,以及一些普通的诊断信息,比如服务器何时启动、何时关闭等。我们可以设置日志文件记录信息级别的高低,控制日志文件记录信息的数量和类型。这是通过LogLevel指令设置的,该指令默认设置的级别是error,即记录称得上错误的事件。

我们在日志文件中见到的内容分属两类:文档错误和CGI错误。但是,错误日志中偶尔也会出现配置错误,另外还有前面提到的服务器启动和关闭信息。

二、Nginx

2.1 Nginx日志

nginx的log日志分为access log 和 error log
其中access log 记录了哪些用户,哪些页面以及用户浏览器、ip和其他的访问信息;error log 则是记录服务器错误日志

错误日志的形式如下:

10.1.1.1 - - [22/Aug/2014:16:48:14 +0800] "POST /ajax/MbpRequest.do HTTP/1.1" 200 367 "-" "Dalvik/1.6.0 (Linux; U; Android 4.1.1; ARMM7K Build/JRO03H)" "119.189.56.175" 127.0.0.1:8080 0.022 0.022

2.2 从上面我们可以看出几部分信息:

1.客户端(用户)IP地址。如:上例中的 10.1.1.1 (内网负载均衡地址)

2.访问时间。如:上例中的 [22/Aug/2014:16:48:19 +0800]

3.访问端口。如:上例中的 127.0.0.1:8080

4.响应时间。如:上例中的 0.022

5.请求时间。如:上例中的 0.022

6.用户地理位置代码(国家代码)。

7.请求的url地址(目标url地址)的host。如:上例中的 /….

8.请求方式(GET或者POST等)。如:上例中的 GET

9.请求url地址(去除host部分)。如:上例中的 /html/test.html

10.请求状态(状态码,200表示成功,404表示页面不存在,301表示永久重定向等,具体状态码可以在网上找相关文章,不再赘述)。如:上例中的 "200"

11.请求页面大小,默认为B(byte)。如:上例中的 2426

12.来源页面,即从哪个页面转到本页,专业名称叫做"referer"。如:上例中的 "http://a.com"

13.用户浏览器语言。如:上例中的 "es-ES,es;q=0.8"

14. 用户浏览器其他信息,浏览器版本、浏览器类型等。如:上例中的  "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.97 Safari/537.11"

其实nginx access日志的格式不是一成不变的,是可以自定义的。

在nginx的nginx.conf配置文件找到:log_format 这里就是日志的格式

看一下和上述日志匹配的log格式设置:

access日志格式配置,具体参数不再细说,上面都已经说过了,自己对应一下即可

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for"'

'$upstream_addr $upstream_response_time $request_time ';

access_log  logs/access.log  main;12345

配置access log日志的存储位置及文件,注意:access.log文件是可以按日期进行分割的,方便查看及处理

access_log  /usr/local/nginx/log/access.log  main;

相关说明解释

1.$remote_addr 与$http_x_forwarded_for 用以记录客户端的ip地址;

2.$remote_user :用来记录客户端用户名称;

3.$time_local : 用来记录访问时间与时区;

4.$request : 用来记录请求的url与http协议;

5.$status : 用来记录请求状态;成功是200,

6.$body_bytes_s ent :记录发送给客户端文件主体内容大小;

7.$http_referer :用来记录从那个页面链接访问过来的;

8.$http_user_agent :记录客户端浏览器的相关信息;

三、IIS

3.1 IIS访问所在路径

  在控制面板中打开IIS服务器,找到想要查看日志的网站,右键属性---->找到启用日志那里单击属性

3.2 IIS日志详细介绍

#Software: Microsoft Internet Information Services 6.0

#Version: 1.0

#Date: 2020-04-20 16:42:21

#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status

2020-04-20 16:42:21 W3SVC1083006916 192.168.0.108 GET / - 8005 - 192.168.0.108 Mozilla/5.0+(Windows+NT+5.2;+rv:17.0)+Gecko/20100101+Firefox/17.0 200 0 0

#Software、#Version、#Date 分别是服务器程序、版本、时间。

#Fields列为日志内容各字段列说明(不同服务器配置略有差异)

  • date:日期
  • time:时间,这两个字段组成资源请求详细时间,改时间通常为服务器端时间,注意,服务器采用时区可能与本地时区不一致。
  • s-ip:服务器IP,资源处理服务器IP,通常是服务器本机IP。
  • cs-method:请求方式,常见有GET与POST请求。
  • cs-uri-stem:请求资源路径,网站根目录下的绝对路径位置。
  • cs-uri-query:请求参数。
  • s-port:使用端口,通常HTTP协议端口是80,HTTPS协议端口是443。
  • cs-username:客户端用户名,通常为空或-。
  • c-ip:客户端IP,判断唯一用户的重要依据,也是判断搜索蜘蛛爬虫真伪的依据。
  • cs(User-Agent):用户代理字符串,用户使用的设备与浏览器类型,以及是否是爬虫蜘蛛程序,但此数据可模拟,需结合上面客户端IP才能准确判断是否是蜘蛛程序。
  • sc-status:请求资源返回状态码,HTTP状态码,通常200为正常,301为跳转,404为资源不存在,500为服务器错误,详细网站HTTP状态码。 
  • sc-substatus:协议子状态,通常为0。
  • sc-win32-status:Win32状态,通常为0。
  • time-taken:花费时间,单位为毫秒。
  • cs-version:协议版本。
  • cs(Referer):请求来路,从哪个页面点击链接进入的该资源。通常如果存在该字段,可判断出搜索引擎与搜索词。
  • sc-bytes:发送文件的大小,单位为字节。一般为所请求资源文件的大小。
  • s-sitename:服务器站点名称,用于区分同一服务器下的多个站点。
  • s-computername:服务器计算机名称。
  • cs(Cookie):客户端请求Cookie。
  • cs-host:客户端请求主机名。