IIS、Apache、Nginx日志记录的各个字段内容与含义

IIS

1.基本介绍

IIS日志，记录网站资源请求的原始数据，了解了各个字段的含义我们会发现其记录的十分详细，能够帮助我们十分有效的分析藏在日志中的问题，日志也是我们分析网站的重要基础。我所使用的是Windows Server 2003，在这个环境中，IIS日志默认的存储路径是：C:\WINDOWS\system32\LogFiles\ ，不过我们也可以通过在IIS管理器中重新设定IIS日志文件存储位置。当打开LogFiles文件夹，我们可以看到多个IIS日志文件夹，每个IIS日志文件夹就对应一个站点日志。

日志文件的名称格式是：ex+年份的末两位数字+月份+日期。
( 如2020年4月14日的WWW日志文件是ex200414.log ）

2.IIS各字段的含义

下图是我的IIS里面的一部分日志记录

①前缀含义

  • s-：服务器操作
  • c-：客户端操作
  • cs-：客户端到服务器的操作
  • sc-：服务器到客户端的操作

②各字段含义

  • date：请求发出日期各字段含义
  • time：请求发出时间，这两个字段组成资源请求详细时间，该时间通常为服务器端时间，（注意，服务器采用时区可能与本地时区不一致，我们用的是北京时间，实际实际需要在这个基础上加8）
  • s-sitename：客户端所访问的该站点的 Internet 服务和实例的号码，用于区分同一服务器下的多个站点。
  • s-ip：服务器IP,资源处理服务器IP，通常是服务器本机IP。
  • cs-method：请求方式，常见有GET与POST请求。
  • cs-uri-stem：请求资源路径，网站根目录下的绝对路径位置。
  • cs-uri-query：请求参数。
  • s-port：使用端口，通常HTTP协议端口是80，HTTPS协议端口是443。
  • cs-username：客户端用户名，通常为空或-。
  • c-ip：客户端IP，判断唯一用户的重要依据，也是判断搜索蜘蛛爬虫真伪的依据。
  • cs(User-Agent)：用户使用的设备与浏览器类型，以及是否是爬虫蜘蛛程序，但此数据可模拟，需结合上面客户端IP才能准确判断是否是蜘蛛程序。
  • sc-status：请求资源返回状态码，HTTP状态码，通常200为正常，301为跳转，404为资源不存在，500为服务器错误，详细网站HTTP状态码。 
  • sc-substatus：协议子状态，通常为0。
  • sc-win32-status：Win32状态，通常为0。

③上图中没有的字段含义（可能出现在其他日志中）

  • time-taken：花费时间，单位为毫秒。
  • cs-version：协议版本。
  • cs(Referer)：请求来路，从哪个页面点击链接进入的该资源。通常如果存在该字段，可判断出搜索引擎与搜索词。
  • sc-bytes：发送文件的大小，单位为字节。一般为所请求资源文件的大小。
  • s-computername：服务器计算机名称。
  • cs(Cookie)：客户端请求Cookie。
  • cs-host：客户端请求主机名。

（以上参考：https://www.googlenb.com/info/53.html）

Apache

1.基本介绍

与IIS服务器格式略有不同，Apache服务器日志记录通常不包含字段说明。 默认情况下单条记录(一行)通常分为5部分。分别是：请求IP与时间、请求方式与内容、请求状态与大小、请求资源来路、请求代理字符串。安装并启动Apache后，Apache会自动生成两个日志文件，这两个日志文件分别是访问日志access_log（在Windows上是access.log）和错误日志error_log（在Windows上是error.log）。如果使用 SSL 服务的话，还可能存在 ssl_access_log和ssl_error_log 和 ssl_request_log 三种日志文件。（日志文件的路径根据安装方式不同位置也是不一样的，一般都是在Apache安装目录的logs子目录中，日志文件路径可根据实际安装情况在Apache的配置文件中进行查找）

2.含义

下图是我的一部分日志记录

  • 远程主机IP：表明访问网站的是谁 
  • 空白(E-mail)：为了避免用户的邮箱被垃圾邮件骚扰，第二项就用“-”取代了
  • 空白(登录名)：用于记录浏览者进行身份验证时提供的名字。
  • 请求时间：用方括号包围，而且采用“公用日志格式”或者“标准英文格式”。 时间信息最后的“+0800”表示服务器所处时区位于UTC之后的8小时。
  • 方法+资源+协议：服务器收到的是一个什么样的请求。该项信息的典型格式是“METHOD RESOURCE PROTOCOL”，即“方法 资源 协议”。

         METHOD: GET、POST、HEAD、……
         RESOURCE: /、index.html、/default/index.php、……（请求的文件）
         PROTOCOL: HTTP+版本号

  • 状态代码：请求是否成功，或者遇到了什么样的错误。大多数时候，这项值是200，它表示服务器已经成功地响应浏览器的请求，一切正常。
  • 发送字节数：表示发送给客户端的总字节数。它告诉我们传输是否被打断（该数值是否和文件的大小相同）。把日志记录中的这些值加起来就可以得知服务器在一天、一周或者一月内发送了多少数据。

3、Apache访问日志配置

（1）访问日志格式分类

apache中日志记录格式主要有两种，普通型（common）和复合型（combined），安装时默认使用普通型（common）类型日志记录访问信息，

（2）配置Apache访问日志格式命令及参数

配置Apache访问日志格式主要有两个参数，即LogFormat指令和CustomLog指令

LogFormat指令：定义格式并为格式指定一个名字，以后我们就可以直接引用这个名字。

CustomLog指令：设置日志文件，并指明日志文件所用的格式（通常通过格式的名字）。

在apache的配置文件httpd.conf中，有几行是这么配置的：

LogFormat "%h %l %u %t "%r" %>s %b" common 定义格式和名字

CustomLog "logs/access.log" common 普通文件记录

 
image.png

访问日志文件的位置实际上是一个配置选项。如果我们检查httpd.conf配置文件，可以看到该文件中有如下这行内容：

CustomLog /usr/local/apache/logs/access_log common

CustomLog指令指定了保存日志文件的具体位置以及日志的格式。上面这行指令指定的是common日志格式，自从有了Web服务器开始，common格式就是它的标准格式。

4、Apache错误日志格式详解

错误日志的文件名字是error_log（Windows平台是error.log）。错误日志的位置可以通过ErrorLog指令设置：ErrorLog logs/error.log ， 除非文件位置用根“/”开头，否则这个文件位置是相对于ServerRoot目录的相对路径。

错误日志无论在格式上还是在内容上都和访问日志不同。然而，错误日志和访问日志一样也提供丰富的信息，我们可以利用这些信息分析服务器的运行情况、哪里出现了问题。

错误日志记录了服务器运行期间遇到的各种错误，以及一些普通的诊断信息，比如服务器何时启动、何时关闭等。我们可以设置日志文件记录信息级别的高低，控制日志文件记录信息的数量和类型。这是通过LogLevel指令设置的，该指令默认设置的级别是error，即记录称得上错误的事件。有关该指令中允许设置的各种选项的完整清单，请参见http://www.apache.org/docs/mod/core.html#loglevel的Apache文档。

我们在日志文件中见到的内容分属两类：文档错误和CGI错误。但是，错误日志中偶尔也会出现配置错误，另外还有前面提到的服务器启动和关闭信息。

（1）文档错误

文档错误和服务器应答中的400系列代码相对应，最常见的就是404错误——Document Not Found（文档没有找到）。除了404错误以外，用户身份验证错误也是一种常见的错误。
404错误在用户请求的资源（即URL）不存在时出现，它可能是由于用户输入的URL错误，或者由于服务器上原来存在的文档因故被删除或移动。 因此建议在不提供重定向或者其他补救措施的情况下，我们永远不应该移动或者删除Web网站的任何资源。 当用户不能打开服务器上的文档时，错误日志中出现的记录如下所示：

[Fri Mar 30 14:45:09 2018] [error] [client 192.168.115.120]

File does not exist: /usr/local/apache/bugletdocs/Img/south-korea.gif

错误日志格式说明：

1.错误发生的日期和时间

2.错误的级别或严重性

3.导致错误的IP地址

4.错误信息本身。

可以看到，正如访问日志access_log文件一样，错误日志记录也分成多个项。错误记录的开头是日期/时间标记，注意它们的格式和access_log中日期/时间的格式不同。access_log中的格式被称为“标准英文格式”。 错误记录的第二项是当前记录的级别，它表明了问题的严重程度。这个级别信息可能是LogLevel指令的文档中所列出的任一级别（参见前面LogLevel的链接），error级别处于warn级别和crit级别之间。404属于error错误级别，这个级别表示确实遇到了问题，但服务器还可以运行。 错误记录的第三项表示用户发出请求时所用的IP地址。
记录的最后一项才是真正的错误信息。对于404错误，它还给出了完整路径指示服务器试图访问的文件。当我们料想某个文件应该在目标位置却出现了404错误时，这个信息是非常有用的。此时产生这种错误的原因往往是由于服务器配置错误、文件实际所处的虚拟主机和我们料想的不同，或者其他一些意料不到的情况。
由于用户身份验证问题而出现的错误记录如下所示：

[Fri Mar 30 14:53:15 2018] [error] [client 192.168.115.120]

user rbowen@rcbowen.com : authentication failure for "/cgi-bin/hirecareers/company.cgi" : password mismatch

注意：由于文档错误是用户请求的直接结果，因此它们在访问日志中也会有相应的记录。

5、查看服务器日志方法

在服务器维护时，经常会遇到各种错误，不断地检查服务器的日志，可以方便知道哪儿出了问题。用ssh远程连接到服务器，然后输入下面的命令，可以动态显示错误日志后几行内容，方便进行排错。

tail -f /usr/local/apache/logs/error_log

无论具体采用的是哪一种方法，同时打开多个终端窗口都是一种好习惯：比如在一个窗口中显示错误日志，在另一个窗口中显示访问日志。这样，我们就能够随时获知网站上发生的事情并立即予以解决。

6、Apache日志的定制

有时候我们需要定制Apache默认日志的格式和内容，比如增加或减少日志所记录的信息、改变默认日志文件的格式等。

（1）定义日志格式及格式串变量含义详解

定制日志文件的格式涉及到两个指令，即LogFormat指令和CustomLog指令。默认httpd.conf文件提供了关于这两个指令的几个示例。
LogFormat指令：定义日志格式并为它指定一个名字，以后就可以直接引用这个名字。
CustomLog指令：设置日志文件，并指明日志文件所用的格式（通常通过格式的名字）。

LogFormat指令在默认的httpd.conf文件中，我们可以找到下面这行代码：

LogFormat "%h %l %u %t "%r" %>s %b" common

该指令创建了一种名为“common”的日志格式，日志的格式在双引号包围的内容中指定。格式字符串中的每一个变量代表着一项特定的信息，这些信息按照格式串规定的次序写入到日志文件。 Apache文档已经给出了所有可用于格式串的变量及其含义，下面是其译文：
%a: 远程IP地址
%A: 本地IP地址
%B: 已发送的字节数，不包含HTTP头
%b: CLF格式的已发送字节数量，不包含HTTP头。例如当没有发送数据时，写入‘-’而不是0。
%{FOOBAR}e: 环境变量FOOBAR的内容
%f: 文件名字
%h: 远程主机
%H 请求的协议
%Foobar}i: Foobar的内容，发送给服务器的请求的标头行。
%l: 远程登录名字（来自identd，如提供的话）
%m: 请求的方法
%{Foobar}n: 来自另外一个模块的注解“Foobar”的内容
%{Foobar}o: Foobar的内容，应答的标头行
%p: 服务器响应请求时使用的端口
%P: 响应请求的子进程ID。
%q: 查询字符串（如果存在查询字符串，则包含“?”后面的部分；否则，它是一个空字符串。）
%r: 请求的第一行
%s: 状态。对于进行内部重定向的请求，这是指原来请求的状态。如果用%...>s，则是指后来的请求。
%t: 以公共日志时间格式表示的时间（或称为标准英文格式）
%{format}t: 以指定格式format表示的时间
%T: 为响应请求而耗费的时间，以秒计
%u: 远程用户（来自auth；如果返回状态（%s）是401则可能是伪造的）
%U: 用户所请求的URL路径
%v: 响应请求的服务器的ServerName
%V: 依照UseCanonicalName设置得到的服务器名字
分析前面来自默认httpd.conf文件的LogFormat指令示例，可以看出它创建了一种名为“common”的日志格式，其中包括：远程主机，远程登录名字，远程用户，请求时间，请求的第一行代码，请求状态，以及发送的字节数。

LogFormat "%V %h %l %u %t "%r" %>s %b" common
【补充】"<"和">"修饰符可以用来指定对于已被内部重定向的请求是选择原始的请求还是选择最终的请求。默认情况下，%s, %U, %T, %D, %r 使用原始请求，而所有其他格式串则选择最终请求。例如，%>s 可以用于记录请求的最终状态，而 %<u 则记录一个已经被内部重定向到非认证资源的请求的原始认证用户。
如果在“%”和变量之间放入了一个或者多个HTTP状态代码，则只有当请求返回的状态代码属于指定的状态代码之一时，变量所代表的内容才会被记录。例如，如果我们想要记录的是网站的所有无效链接，那么可以使用：

LogFormat @4{Referer}i BrokenLinks

反之，如果我们想要记录那些状态代码不等于指定值的请求，只需加入一个“!”符号即可：

LogFormat %!200U SomethingWrong

7、日志中记录的相关信息说明

有许多信息可以用日志文件来记录，其中包括：
（1）远程机器的地址：“远程机器的地址”和“谁在浏览网站”差不多，但并不等同。
（2）浏览时间：浏览者何时开始访问网站？从这个问题的答案中我们能够了解不少情况。从单个访问记录能够得到的信息非常有限，但如果从数千个访问记录出发，我们就可以得到非常有用和重要的统计信息。
（3）用户所访问的资源：网站的哪些部分最受用户欢迎？这些最受欢迎的部分就是我们应该继续加以发展的部分。网站的哪些部分总是受到冷落？网站中这些受到冷落的部分或许隐藏得太深，或许它们确实没有什么意思，此时我们就得想办法加以改进。当然，网站还有的内容，比如法律上的声明，虽然很少有人访问，但却不应该随便地改动它们。
（4）无效链接：当然，日志文件还能够告诉我们哪些东西不能按照我们所想象地运行。网站中是否存在错误的链接？其他网站链接过来时有没有搞错URL？是否存在不能正常运行的CGI程序？是否有搜索引擎检索程序每秒发出数千个请求，从而影响了本网站的正常服务？这些问题的答案都可以从日志文件找到线索。

（以上参考：https://www.jianshu.com/p/e22228730b5f
                      https://www.googlenb.com/info/53.html      ）
Nginx
一、日志分类
        Nginx日志主要分为两种访问日志和错误日志。日志开关在Nginx配置文件/etc/nginx/nginx.conf中设置两种日志都可以选择性关闭默认都是打开的。
1、访问日志
        访问日志主要记录客户端访问Nginx的每一个请求格式可以自定义。通过访问日志你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息。Nginx中访问日志相关指令主要有两条
        log_format
        log_format用来设置日志格式也就是日志文件中每条日志的格式具体如下
        log_format name(格式名称) type(格式样式)
        举例说明如下
        log_format  main  '$server_name $remote_addr - $remote_user [$time_local] "$request" '
                        '$status $uptream_status $body_bytes_sent "$http_referer" '
                        '"$http_user_agent" "$http_x_forwarded_for" '
                        '$ssl_protocol $ssl_cipher $upstream_addr $request_time $upstream_response_time';
        上面红色部分为Nginx默认指定的格式样式每个样式的含义如下
        $server_name虚拟主机名称。
        $remote_addr远程客户端的IP地址。
        -空白用一个“-”占位符替代历史原因导致还存在。
        $remote_user远程客户端用户名称用于记录浏览者进行身份验证时提供的名字如登录百度的用户名scq2099yt如果没有登录就是空白。
        [$time_local]访问的时间与时区比如18/Jul/2012:17:00:01 +0800时间信息最后的"+0800"表示服务器所处时区位于UTC之后的8小时。
        $request请求的URI和HTTP协议这是整个PV日志记录中最有用的信息记录服务器收到一个什么样的请求
        $status记录请求返回的http状态码比如成功是200。
        $uptream_statusupstream状态比如成功是200.
        $body_bytes_sent发送给客户端的文件主体内容的大小比如899可以将日志每条记录中的这个值累加起来以粗略估计服务器吞吐量。
        $http_referer记录从哪个页面链接访问过来的。 
        $http_user_agent客户端浏览器信息
        $http_x_forwarded_for客户端的真实ip通常web服务器放在反向代理的后面这样就不能获取到客户的IP地址了通过$remote_add拿到的IP地址是反向代理服务器的iP地址。反向代理服务器在转发请求的http头信息中可以增加x_forwarded_for信息用以记录原有客户端的IP地址和原来客户端的请求的服务器地址。
        $ssl_protocolSSL协议版本比如TLSv1。
        $ssl_cipher交换数据中的算法比如RC4-SHA。 
        $upstream_addrupstream的地址即真正提供服务的主机地址。 
        $request_time整个请求的总时间。 
        $upstream_response_time请求过程中upstream的响应时间。
        访问日志中一个典型的记录如下
        192.168.1.102 - scq2099yt [18/Mar/2013:23:30:42 +0800] "GET /stats/awstats.pl?config=scq2099yt HTTP/1.1" 200 899 "http://192.168.1.1/pv/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows XXX; Maxthon)"
        需要注意的是log_format配置必须放在http内否则会出现如下警告信息
        nginx: [warn] the "log_format" directive may be used only on "http" level in /etc/nginx/nginx.conf:97
        2access_log
        access_log指令用来指定日志文件的存放路径包含日志文件名、格式和缓存大小具体如下
        access_log path(存放路径) [format(自定义日志格式名称) [buffer=size | off]]
        举例说明如下
        access_log  logs/access.log  main;
        如果想关闭日志可以如下
        access_log off;
        能够使用access_log指令的字段包括http、server、location。
        需要注意的是Nginx进程设置的用户和组必须对日志路径有创建文件的权限否则会报错。
2、错误日志
        错误日志主要记录客户端访问Nginx出错时的日志格式不支持自定义。通过错误日志你可以得到系统某个服务或server的性能瓶颈等。因此将日志好好利用你可以得到很多有价值的信息。错误日志由指令error_log来指定具体格式如下
        error_log path(存放路径) level(日志等级)
        path含义同access_loglevel表示日志等级具体如下
        [ debug | info | notice | warn | error | crit ]
        从左至右日志详细程度逐级递减即debug最详细crit最少。
        举例说明如下
        error_log  logs/error.log  info;
        需要注意的是error_log off并不能关闭错误日志而是会将错误日志记录到一个文件名为off的文件中。
        正确的关闭错误日志记录功能的方法如下
        error_log /dev/null;
        上面表示将存储日志的路径设置为“垃圾桶”。
（以上参考：https://blog.51cto.com/zhanglm/1928578）
posted @ 2020-04-20 16:21  ApricityJ  阅读(1131)  评论(0)  编辑  收藏  举报