apache、nginx、iis日志记录的各个字段内容与含义

apache、nginx、iis日志记录的各个字段内容与含义

一、Apache

1、Apache日志文件名称及路径介绍

当我们安装并启动Apache后，Apache会自动生成两个日志文件，这两个日志文件分别是访问日志access_log（在Windows上是access.log）和错误日志error_log（在Windows上是error.log）。如果使用 SSL 服务的话，还可能存在 ssl_access_log和ssl_error_log 和 ssl_request_log 三种日志文件。

     

 

2、Apache访问日志格式详解   

访问日志access_log记录了所有对Web服务器的访问活动，下面是访问日志access_log中的一个标准记录

192.168.115.5 - - [01/Apr/2018:10:37:19 +0800] "GET / HTTP/1.1" 200 45

日志字段所代表的内容如下：

1.远程主机IP：表明访问网站的是谁 

2.空白(E-mail)：为了避免用户的邮箱被垃圾邮件骚扰，第二项就用“-”取代了

3.空白(登录名)：用于记录浏览者进行身份验证时提供的名字。

4.请求时间：用方括号包围，而且采用“公用日志格式”或者“标准英文格式”。 时间信息最后的“+0800”表示服务器所处时区位于UTC之后的8小时。

5.方法+资源+协议：服务器收到的是一个什么样的请求。该项信息的典型格式是“METHOD RESOURCE PROTOCOL”，即“方法 资源 协议”。

 METHOD: GET、POST、HEAD、……
RESOURCE: /、index.html、/default/index.php、……（请求的文件）
 PROTOCOL: HTTP+版本号

6.状态代码：请求是否成功，或者遇到了什么样的错误。大多数时候，这项值是200，它表示服务器已经成功地响应浏览器的请求，一切正常。

7.发送字节数：表示发送给客户端的总字节数。它告诉我们传输是否被打断（该数值是否和文件的大小相同）。把日志记录中的这些值加起来就可以得知服务器在一天、一周或者一月内发送了多少数据。

3、Apache访问日志配置

（1）访问日志格式分类

apache中日志记录格式主要有两种，普通型（common）和复合型（combined），安装时默认使用普通型（common）类型日志记录访问信息，

（2）配置Apache访问日志格式命令及参数

配置Apache访问日志格式主要有两个参数，即LogFormat指令和CustomLog指令

LogFormat指令：定义格式并为格式指定一个名字，以后我们就可以直接引用这个名字。

CustomLog指令：设置日志文件，并指明日志文件所用的格式（通常通过格式的名字）。

 

在apache的配置文件httpd.conf中，有几行是这么配置的：

LogFormat "%h %l %u %t "%r" %>s %b" common   定义格式和名字

CustomLog "logs/access.log" common    普通文件记录

 

%h

%I

%u

%t

%r

%>s

%b

远端主机

远端登录名

远程用户名

时间

请求第一行

状态

传送字节

 

 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

 CustomLog   logs/access_log combined     复合日志记录

 

%{Referer}i\

\"%{User-Agent}i\

请求来源

客户端浏览器提供的浏览器识别信息

 

访问日志文件的位置实际上是一个配置选项。如果我们检查httpd.conf配置文件，可以看到该文件中有如下这行内容： 

CustomLog /usr/local/apache/logs/access_log common 

CustomLog指令指定了保存日志文件的具体位置以及日志的格式。上面这行指令指定的是common日志格式，自从有了Web服务器开始，common格式就是它的标准格式。

4、Apache错误日志格式详解

错误日志的文件名字是error_log（Windows平台是error.log）。错误日志的位置可以通过ErrorLog指令设置：ErrorLog logs/error.log ， 除非文件位置用根“/”开头，否则这个文件位置是相对于ServerRoot目录的相对路径。

错误日志无论在格式上还是在内容上都和访问日志不同。然而，错误日志和访问日志一样也提供丰富的信息，我们可以利用这些信息分析服务器的运行情况、哪里出现了问题。

错误日志记录了服务器运行期间遇到的各种错误，以及一些普通的诊断信息，比如服务器何时启动、何时关闭等。我们可以设置日志文件记录信息级别的高低，控制日志文件记录信息的数量和类型。这是通过LogLevel指令设置的，该指令默认设置的级别是error，即记录称得上错误的事件。有关该指令中允许设置的各种选项的完整清单，请参见http://www.apache.org/docs/mod/core.html#loglevel的Apache文档。 

我们在日志文件中见到的内容分属两类：文档错误和CGI错误。但是，错误日志中偶尔也会出现配置错误，另外还有前面提到的服务器启动和关闭信息。

（1）文档错误

文档错误和服务器应答中的400系列代码相对应，最常见的就是404错误——Document Not Found（文档没有找到）。除了404错误以外，用户身份验证错误也是一种常见的错误。  
       404错误在用户请求的资源（即URL）不存在时出现，它可能是由于用户输入的URL错误，或者由于服务器上原来存在的文档因故被删除或移动。  因此建议在不提供重定向或者其他补救措施的情况下，我们永远不应该移动或者删除Web网站的任何资源。  当用户不能打开服务器上的文档时，错误日志中出现的记录如下所示：           

[Fri Mar 30 14:45:09 2018] [error] [client 192.168.115.120] 

File does not exist:  /usr/local/apache/bugletdocs/Img/south-korea.gif

 

错误日志格式说明：

1.错误发生的日期和时间

2.错误的级别或严重性

3.导致错误的IP地址

4.错误信息本身。

可以看到，正如访问日志access_log文件一样，错误日志记录也分成多个项。错误记录的开头是日期/时间标记，注意它们的格式和access_log中日期/时间的格式不同。access_log中的格式被称为“标准英文格式”。 
       错误记录的第二项是当前记录的级别，它表明了问题的严重程度。这个级别信息可能是LogLevel指令的文档中所列出的任一级别（参见前面LogLevel的链接），error级别处于warn级别和crit级别之间。404属于error错误级别，这个级别表示确实遇到了问题，但服务器还可以运行。  
      错误记录的第三项表示用户发出请求时所用的IP地址。  
      记录的最后一项才是真正的错误信息。对于404错误，它还给出了完整路径指示服务器试图访问的文件。当我们料想某个文件应该在目标位置却出现了404错误时，这个信息是非常有用的。此时产生这种错误的原因往往是由于服务器配置错误、文件实际所处的虚拟主机和我们料想的不同，或者其他一些意料不到的情况。  
      由于用户身份验证问题而出现的错误记录如下所示：    

[Fri Mar 30 14:53:15 2018] [error] [client 192.168.115.120]

user rbowen@rcbowen.com : authentication failure for "/cgi-bin/hirecareers/company.cgi" : password mismatch  

 注意：由于文档错误是用户请求的直接结果，因此它们在访问日志中也会有相应的记录。  

（2）CGI错误

     错误日志最主要的用途或许是诊断行为异常的CGI程序。为了进一步分析和处理方便，CGI程序输出到STDERR（Standard Error，标准错误设备）的所有内容都将直接进入错误日志。这意味着，任何编写良好的CGI程序，如果出现了问题，错误日志就会告诉我们有关问题的详细信息。 

     然而，把CGI程序错误输出到错误日志也有它的缺点，错误日志中将出现许多没有标准格式的内容，这使得用错误日志自动分析程序从中分析出有用的信息变得相当困难。 

     下面是一个例子，它是调试Perl CGI代码时，错误日志中出现的一个错误记录： 

 [Web Mar 30 15:32:10 2018] [error] [client 192.168.115.120] Premature 

  end of script headers: /usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi

  Global symbol "$rv" requires explicit package name at 

  /usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi line 81.

  Global symbol "�tails" requires explicit package name at 

  /usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi line 84.

  Global symbol "$Config" requires explicit package name at 

  /usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi line 133.

  Execution of /usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi 

  aborted due to compilation errors.  

可以看到，CGI错误和前面的404错误格式相同，包含日期/时间、错误级别以及客户地址、错误信息。但这个CGI错误的错误信息有好几行，这往往会干扰一些错误日志分析软件的工作。 

     有了这个错误信息，即使是对Perl不太熟悉的人也能够找出许多有关错误的信息，例如至少可以方便地得知是哪几行代码出现了问题。Perl在报告程序错误方面的机制是相当完善的。当然，不同的编程语言输出到错误日志的信息会有所不同。 

     由于CGI程序运行环境的特殊性，如果没有错误日志的帮助，大多数CGI程序的错误都将很难解决。 

     有不少人在邮件列表或者新闻组中抱怨说自己有一个CGI程序，当打开网页时服务器却返回错误，比如“Internal Server Error”。我们可以肯定，这些人还没有看过服务器的错误日志，或者根本不知道错误日志的存在。决多大多数情况下，错误日志能够精确地指出CGI错误的所在以及如何修正这个错误。

5、查看服务器日志方法

在服务器维护时，经常会遇到各种错误，不断地检查服务器的日志，可以方便知道哪儿出了问题。用ssh远程连接到服务器，然后输入下面的命令，可以动态显示错误日志后几行内容，方便进行排错。
 

tail -f /usr/local/apache/logs/error_log 

      

无论具体采用的是哪一种方法，同时打开多个终端窗口都是一种好习惯：比如在一个窗口中显示错误日志，在另一个窗口中显示访问日志。这样，我们就能够随时获知网站上发生的事情并立即予以解决。        

6、Apache日志的定制

有时候我们需要定制Apache默认日志的格式和内容，比如增加或减少日志所记录的信息、改变默认日志文件的格式等。

（1）定义日志格式及格式串变量含义详解

        定制日志文件的格式涉及到两个指令，即LogFormat指令和CustomLog指令。默认httpd.conf文件提供了关于这两个指令的几个示例。  
     LogFormat指令：定义日志格式并为它指定一个名字，以后就可以直接引用这个名字。
     CustomLog指令：设置日志文件，并指明日志文件所用的格式（通常通过格式的名字）。  
 
     LogFormat指令在默认的httpd.conf文件中，我们可以找到下面这行代码：  

 LogFormat "%h %l %u %t \"%r\" %>s %b" common   

该指令创建了一种名为“common”的日志格式，日志的格式在双引号包围的内容中指定。格式字符串中的每一个变量代表着一项特定的信息，这些信息按照格式串规定的次序写入到日志文件。   Apache文档已经给出了所有可用于格式串的变量及其含义，下面是其译文：  
     %a: 远程IP地址  
     %A: 本地IP地址  
     %B: 已发送的字节数，不包含HTTP头  
     %b: CLF格式的已发送字节数量，不包含HTTP头。例如当没有发送数据时，写入‘-’而不是0。  
      %{FOOBAR}e: 环境变量FOOBAR的内容  
      %f: 文件名字  
      %h: 远程主机  
      %H 请求的协议  
      %Foobar}i: Foobar的内容，发送给服务器的请求的标头行。  
      %l: 远程登录名字（来自identd，如提供的话）  
      %m: 请求的方法  
      %{Foobar}n: 来自另外一个模块的注解“Foobar”的内容  
      %{Foobar}o: Foobar的内容，应答的标头行  
      %p: 服务器响应请求时使用的端口  
      %P: 响应请求的子进程ID。  
      %q: 查询字符串（如果存在查询字符串，则包含“?”后面的部分；否则，它是一个空字符串。）  
      %r: 请求的第一行  
      %s: 状态。对于进行内部重定向的请求，这是指*原来*请求的状态。如果用%...>s，则是指后来的请求。  
      %t: 以公共日志时间格式表示的时间（或称为标准英文格式）  
     %{format}t: 以指定格式format表示的时间  
      %T: 为响应请求而耗费的时间，以秒计  
      %u: 远程用户（来自auth；如果返回状态（%s）是401则可能是伪造的）  
      %U: 用户所请求的URL路径  
      %v: 响应请求的服务器的ServerName  
      %V: 依照UseCanonicalName设置得到的服务器名字  
     分析前面来自默认httpd.conf文件的LogFormat指令示例，可以看出它创建了一种名为“common”的日志格式，其中包括：远程主机，远程登录名字，远程用户，请求时间，请求的第一行代码，请求状态，以及发送的字节数。

 LogFormat "%V %h %l %u %t \"%r\" %>s %b" common
    【补充】"<"和">"修饰符可以用来指定对于已被内部重定向的请求是选择原始的请求还是选择最终的请求。默认情况下，%s, %U, %T, %D, %r 使用原始请求，而所有其他格式串则选择最终请求。例如，%>s 可以用于记录请求的最终状态，而 %<u 则记录一个已经被内部重定向到非认证资源的请求的原始认证用户。
      如果在“%”和变量之间放入了一个或者多个HTTP状态代码，则只有当请求返回的状态代码属于指定的状态代码之一时，变量所代表的内容才会被记录。例如，如果我们想要记录的是网站的所有无效链接，那么可以使用：      

 LogFormat @4{Referer}i BrokenLinks   

  反之，如果我们想要记录那些状态代码不等于指定值的请求，只需加入一个“!”符号即可： 

 LogFormat %!200U SomethingWrong   

 

 

7、日志中记录的相关信息说明

 有许多信息可以用日志文件来记录，其中包括：  
 （1）远程机器的地址：“远程机器的地址”和“谁在浏览网站”差不多，但并不等同。 
 （2）浏览时间：浏览者何时开始访问网站？从这个问题的答案中我们能够了解不少情况。从单个访问记录能够得到的信息非常有限，但如果从数千个访问记录出发，我们就可以得到非常有用和重要的统计信息。  
 （3）用户所访问的资源：网站的哪些部分最受用户欢迎？这些最受欢迎的部分就是我们应该继续加以发展的部分。网站的哪些部分总是受到冷落？网站中这些受到冷落的部分或许隐藏得太深，或许它们确实没有什么意思，此时我们就得想办法加以改进。当然，网站还有的内容，比如法律上的声明，虽然很少有人访问，但却不应该随便地改动它们。  
 （4）无效链接：当然，日志文件还能够告诉我们哪些东西不能按照我们所想象地运行。网站中是否存在错误的链接？其他网站链接过来时有没有搞错URL？是否存在不能正常运行的CGI程序？是否有搜索引擎检索程序每秒发出数千个请求，从而影响了本网站的正常服务？这些问题的答案都可以从日志文件找到线索。

 

 

 

二、nginx日志分析

 

1.首先说明Nginx日志存放在系统的哪个位置，可以使用下列命令：

找到*/nginx/logs/access.log这个关键路径，就是Nginx的访问日志的位置。（其中*代表你电脑nginx文件夹前面的路径）

2.Nginx默认的日志格式如下：

log_format main '$remote_addr - - $remote_user [$time_local] "$request" '

                           '$status $body_bytes_sent "$http_referer" '

                           '"$http_user_agent"    "$http_x_forwarded_for" ';

3.字段说明（下面是自己主机查看访问日志的一条信息，再下面的文字是解释）：

192.168.43.189 - - [22/Feb/2019:22:26:07 +0800] "GET /index.php HTTP/1.1" 200 56787 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"

远程主机IP地址                  访问时间           时区      方法       资源        协议    状态码  发送字节                        referer    浏览器信息

4.日志分析

awk '{print $1}' /data/nginx/log/www.mafengwo.cn | sort | uniq -c | sort -nr | head -10
        # IP数量前10

 

 

awk '/07\/Jun\/2019/{print $1}' /data/nginx/log/www.mafengwo.cn  | sort | uniq -c | sort -nr | head -10
        # 指定日期Ip
awk '{print $11}' /data/nginx/log/www.mafengwo.cn | sort | uniq -c | sort -nr | head -10 
        # url访问量

 

 

awk '{print $9}' /data/nginx/log/www.mafengwo.cn | sort | uniq -c | sort -nr | head -10
        # 统计状态码

 

 

三、IIS日志分析

IIS 的WWW日志文件默认位置为 %systemroot%\system32\logfiles\w3svcN\，（例如： C:\WINDOWS\system32\LogFiles\W3SVC1\）。一般服务器上日志的保存不使用默认路径，更换一个记录日志的路径，同时设置日志访问权限，只允许管理员和SYSTEM为完全控制的权限。

日志文件的名称格式是：ex+年份的末两位数字+月份+日期。
( 如2013年4月10日的WWW日志文件是ex130410.log ）

IIS日志字段
#Software: Microsoft Internet Information Services 7.5
#Version: 1.0
#Date: 2013-08-21 01:00:00
#Fields: date time s-sitename s-computername s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs-version cs(User-Agent) cs(Cookie) cs(Referer) cs-host sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken

日志的主体是一条一条的请求信息，请求信息的格式是由#Fields定义的，每个字段都有空格隔开。

若是重启进程，则这四行会再记录一次。

前缀

含义

s-

服务器操作。

c-

客户端操作。

cs-

客户端到服务器的操作。

sc-

服务器到客户端的操作。
 
各个字段的含义 

 

序号

字段

字段

格式及值

备注

1

date 

日期

2013-08-21

活动发生的日期。

2

time 

时间

01:16:11 +8小时

活动发生的时间。

3

s-sitename

服务名

W3SVC2

客户端所访问的该站点的 Internet 服务和实例的号码。

4

s-computername

服务器名

VMS01487

生成日志项的服务器名称。

5

s-ip

服务器IP

10.8.2.174

生成日志项的服务器的IP地址。

6

cs-method

方法

GET/POST

客户端试图执行的操作（例如 GET 方法）

7

cs-uri-stem

请求访问的页面

/TrainBooking/Search.aspx

/表示访问主页

8

cs-uri-query

访问的查询字符串

from=beijingxi&to=xinxiang2&day=1&number=&fromCn=%B1%B1%BE%A9&toCn=%D0%C2%CF%E7

客户端正在尝试执行的查询（如果有）。查询HTTP请求中问号（?）后的信息

9

 s-port

服务器端口

80

客户端连接的服务器端口号。

10

cs-username

  

-

对于通过身份验证的用户，格式是“域\用户名”；对于匿名用户，是一个连字符 (-)。

11

c-ip

客户端IP

120.71.108.114

访问服务器的客户端 IP 地址。（已过滤掉中间各种IP，是真实的客户端IP）

12

cs-version

协议版本

HTTP/1.1

客户端使用的协议（HTTP，FTP）版本。对于 HTTP，这将是 HTTP 1.0 或 HTTP 1.1。

13

cs(User-Agent)

用户代理

Mozilla/4.0+(compatible;+MSIE+8.0;+Windows+NT+5.1;+Trident/4.0;+QQDownload+718)

在客户端使用的浏览器。

14

cs(Cookie)

Cookie

Session=SmartLinkLanguage=zh&SmartLinkHost=&SmartLinkQuary=&SmartLinkKeyWord=&SmartLinkCode=U217664;+Union=OUID=baidu6a%7Ctrain%7C%7C%7C&AllianceID=4897&SID=217664;+rt=4_1;+__utma=1.1239641147.1377046635.1377046635.1377046635.1;+__utmb=1.1.10.1377046635;+__utmc=1;+__utmz=1.1377046635.1.1.utmcsr=baidu|utmccn=Baidu6a|utmcmd=cpc|utmctr=%E7%81%AB%E8%BD%A6%E7%A5%A8%E6%9F%A5%E8%AF%A2;+traceExt=campaign=CHNbaidu6a&adid=train;+_bfa=1.1377046635093.2zk2zs.1.1377046635093.1377046635093.1.1;+_bfs=1.1;+_bfp=469547008;+_bfi=p1=108001&p2=0&v1=1&v2=1;+ALLYESID4=06D7467F7F5F739E;+TrainLastSearch=%E9%93%9C%E4%BB%81%7Ctongren%7C%E6%B7%B1%E5%9C%B3%E8%A5%BF%7Cshenzhenxi%7C2013-08-21%7C;+ASP.NET_SessionId=kqc0qh3d3zmg42zlnruijtb1

发送或接收的 Cookie 的内容（如果有）

15

cs(Referer)

引用站点

http://trains.xxx.com/TrainBooking/RoundTrip.aspx?from=liuan&to=jiaxing&day=4&dayreturn=5&number=&fromCn=六安&toCn=嘉兴

用户访问的前一个站点。此站点提供到当前站点的链接。

16

cs-host

主机

trains.xxx.com

（有时直接访问服务器IP，10.8.2.174）

显示主机头的内容。

17

sc-status

协议返回状态

200

以HTTP或FTP表示的操作的状态

18

sc-substatus

HTTP子协议的状态

0

  

19

sc-win32-status

Win32® 状态

0

用 Windows® 使用的术语表示的操作的状态。

20

sc-bytes

服务器发送的字节数

87682

服务器发送的字节数。

21

cs-bytes

服务器接受的字节数

1324

服务器接收的字节数。

22

time-taken

所用时间

187

 

 

 

 

操作花费的时间长短（亳秒）

 


参考链接:  

apache：https://www.cnblogs.com/xiaqiuchu/articles/10400792.html

nginx:https://blog.csdn.net/javaloveiphone/article/details/74238866
　　　　https://blog.csdn.net/a407670849/article/details/89208775

iis:https://www.cnblogs.com/zhoujie/p/iis1.html

 

posted @ 2020-04-19 22:14  Res0lve  阅读(742)  评论(0)  编辑  收藏  举报