iis、apache、nginx日志记录各字段内容与含义

IIS日志

1、iis日志文件名称及路径介绍

IIS日志，主要用于记录用户和搜索引擎蜘蛛对网站的访问行为。IIS日志中，包括客户端访问时间、访问来源、来源IP、客户端请求方式、请求端口、访问路径及参数、Http状态码状态、返回字节大小等信息。Windows2003环境中，IIS日志默认存储路径：C:\WINDOWS\system32\LogFiles\ ，在LogFiles文件夹下，存在多个IIS日志文件夹，每个IIS日志文件夹对应一个站点日志。当然IIS日志文件存储位置也可以根据自己的实际情况，在IIS管理器中重新设定。

2、iis访问日志格式

如图下面是我自己的一个访问日志记录

如图我的是iis6.0 ，版本是1.0，日志日期是2020-04-14 13：39：38

下面是相关组成参数解释

date：发出请求时候的日期。

time：发出请求时候的时间。注意：默认情况下这个时间是格林威治时间，比我们的北京时间晚8个小时

s-sitename：服务名，记录当记录事件运行于客户端上的Internet服务的名称和实例的编号。

s-ip：服务器的IP地址。

cs-method：请求中使用的HTTP方法，GET/POST。

cs-uri-stem：URI资源，记录做为操作目标的统一资源标识符（URI），即访问的页面文件。

cs-uri-query：URI查询，记录客户尝试执行的查询，只有动态页面需要URI查询，如果有则记录，没有则以连接符-表示。即访问网址的附带参数。

s-port：为服务配置的服务器端口号。

cs-username：用户名，访问服务器的已经过验证用户的名称，匿名用户用连接符-表示。

c-ip：客户端IP地址。

sc-status：协议状态，记录HTTP状态代码，200表示成功，403表示没有权限，404表示找不到该页面，具体说明在下面。

sc-substatus：协议子状态，记录HTTP子状态代码。

sc-win32-status：Win32状态，记录Windows状态代码。

有些日志记录中可能还有这些参数

sc-bytes：服务器发送的字节数。

cs-bytes：服务器接受的字节数。

time-taken：记录操作所花费的时间，单位是毫秒。

cs-version：记录客户端使用的协议版本，HTTP或者FTP。

s-computername：服务器的名称。

s-port：为服务配置的服务器端口号。

Apache日志

转自：http://blog.51cto.com/longlei/2095594

1、Apache日志文件名称及路径介绍

当我们安装并启动Apache后，Apache会自动生成两个日志文件，这两个日志文件分别是访问日志access_log（在Windows上是access.log）和错误日志error_log（在Windows上是error.log）。如果使用 SSL 服务的话，还可能存在 ssl_access_log和ssl_error_log 和 ssl_request_log 三种日志文件。

日志文件的路径根据安装方式不同位置也是不一样的，一般都是在Apache安装目录的logs子目录中，日志文件路径可根据实际安装情况在Apache的配置文件中进行查找。

https://blog.csdn.net/u013699800/article/details/37593491

2、Apache访问日志格式详解

访问日志access_log记录了所有对Web服务器的访问活动，下面是访问日志access_log中的一个标准记录

192.168.115.5 - - [01/Apr/2018:10:37:19 +0800] "GET / HTTP/1.1" 200 45

日志字段所代表的内容如下：

1.远程主机IP：表明访问网站的是谁

2.空白(E-mail)：为了避免用户的邮箱被垃圾邮件骚扰，第二项就用“-”取代了

3.空白(登录名)：用于记录浏览者进行身份验证时提供的名字。

4.请求时间：用方括号包围，而且采用“公用日志格式”或者“标准英文格式”。时间信息最后的“+0800”表示服务器所处时区位于UTC之后的8小时。

5.方法+资源+协议：服务器收到的是一个什么样的请求。该项信息的典型格式是“METHOD RESOURCE PROTOCOL”，即“方法资源协议”。

METHOD: GET、POST、HEAD、……
RESOURCE: /、index.html、/default/index.php、……（请求的文件）
PROTOCOL: HTTP+版本号

6.状态代码：请求是否成功，或者遇到了什么样的错误。大多数时候，这项值是200，它表示服务器已经成功地响应浏览器的请求，一切正常。

7.发送字节数：表示发送给客户端的总字节数。它告诉我们传输是否被打断（该数值是否和文件的大小相同）。把日志记录中的这些值加起来就可以得知服务器在一天、一周或者一月内发送了多少数据。

3、Apache访问日志配置

（1）访问日志格式分类

apache中日志记录格式主要有两种，普通型（common）和复合型（combined），安装时默认使用普通型（common）类型日志记录访问信息，

（2）配置Apache访问日志格式命令及参数

配置Apache访问日志格式主要有两个参数，即LogFormat指令和CustomLog指令

LogFormat指令：定义格式并为格式指定一个名字，以后我们就可以直接引用这个名字。

CustomLog指令：设置日志文件，并指明日志文件所用的格式（通常通过格式的名字）。

在apache的配置文件httpd.conf中，有几行是这么配置的：

LogFormat "%h %l %u %t "%r" %>s %b" common 定义格式和名字

CustomLog "logs/access.log" common 普通文件记录

%h	%I	%u	%t	%r	%>s	%b
远端主机	远端登录名	远程用户名	时间	请求第一行	状态	传送字节

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

CustomLog logs/access_log combined 复合日志记录

%{Referer}i\	\"%{User-Agent}i\
请求来源	客户端浏览器提供的浏览器识别信息

访问日志文件的位置实际上是一个配置选项。如果我们检查httpd.conf配置文件，可以看到该文件中有如下这行内容：

CustomLog /usr/local/apache/logs/access_log common

CustomLog指令指定了保存日志文件的具体位置以及日志的格式。上面这行指令指定的是common日志格式，自从有了Web服务器开始，common格式就是它的标准格式。

4、Apache错误日志格式详解

错误日志的文件名字是error_log（Windows平台是error.log）。错误日志的位置可以通过ErrorLog指令设置：ErrorLog logs/error.log ，除非文件位置用根“/”开头，否则这个文件位置是相对于ServerRoot目录的相对路径。

错误日志无论在格式上还是在内容上都和访问日志不同。然而，错误日志和访问日志一样也提供丰富的信息，我们可以利用这些信息分析服务器的运行情况、哪里出现了问题。

错误日志记录了服务器运行期间遇到的各种错误，以及一些普通的诊断信息，比如服务器何时启动、何时关闭等。我们可以设置日志文件记录信息级别的高低，控制日志文件记录信息的数量和类型。这是通过LogLevel指令设置的，该指令默认设置的级别是error，即记录称得上错误的事件。有关该指令中允许设置的各种选项的完整清单，请参见http://www.apache.org/docs/mod/core.html#loglevel的Apache文档。

我们在日志文件中见到的内容分属两类：文档错误和CGI错误。但是，错误日志中偶尔也会出现配置错误，另外还有前面提到的服务器启动和关闭信息。

（1）文档错误

文档错误和服务器应答中的400系列代码相对应，最常见的就是404错误——Document Not Found（文档没有找到）。除了404错误以外，用户身份验证错误也是一种常见的错误。
404错误在用户请求的资源（即URL）不存在时出现，它可能是由于用户输入的URL错误，或者由于服务器上原来存在的文档因故被删除或移动。因此建议在不提供重定向或者其他补救措施的情况下，我们永远不应该移动或者删除Web网站的任何资源。当用户不能打开服务器上的文档时，错误日志中出现的记录如下所示：

[Fri Mar 30 14:45:09 2018] [error] [client 192.168.115.120]

File does not exist: /usr/local/apache/bugletdocs/Img/south-korea.gif

错误日志格式说明：

1.错误发生的日期和时间

2.错误的级别或严重性

3.导致错误的IP地址

4.错误信息本身。

可以看到，正如访问日志access_log文件一样，错误日志记录也分成多个项。错误记录的开头是日期/时间标记，注意它们的格式和access_log中日期/时间的格式不同。access_log中的格式被称为“标准英文格式”。
   错误记录的第二项是当前记录的级别，它表明了问题的严重程度。这个级别信息可能是LogLevel指令的文档中所列出的任一级别（参见前面LogLevel的链接），error级别处于warn级别和crit级别之间。404属于error错误级别，这个级别表示确实遇到了问题，但服务器还可以运行。
  错误记录的第三项表示用户发出请求时所用的IP地址。
  记录的最后一项才是真正的错误信息。对于404错误，它还给出了完整路径指示服务器试图访问的文件。当我们料想某个文件应该在目标位置却出现了404错误时，这个信息是非常有用的。此时产生这种错误的原因往往是由于服务器配置错误、文件实际所处的虚拟主机和我们料想的不同，或者其他一些意料不到的情况。
      由于用户身份验证问题而出现的错误记录如下所示：

[Fri Mar 30 14:53:15 2018] [error] [client 192.168.115.120]

user rbowen@rcbowen.com : authentication failure for "/cgi-bin/hirecareers/company.cgi" : password mismatch

注意：由于文档错误是用户请求的直接结果，因此它们在访问日志中也会有相应的记录。

（2）CGI错误

错误日志最主要的用途或许是诊断行为异常的CGI程序。为了进一步分析和处理方便，CGI程序输出到STDERR（Standard Error，标准错误设备）的所有内容都将直接进入错误日志。这意味着，任何编写良好的CGI程序，如果出现了问题，错误日志就会告诉我们有关问题的详细信息。

然而，把CGI程序错误输出到错误日志也有它的缺点，错误日志中将出现许多没有标准格式的内容，这使得用错误日志自动分析程序从中分析出有用的信息变得相当困难。

下面是一个例子，它是调试Perl CGI代码时，错误日志中出现的一个错误记录：

[Web Mar 30 15:32:10 2018] [error] [client 192.168.115.120] Premature

end of script headers: /usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi

Global symbol "$rv" requires explicit package name at

/usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi line 81.

Global symbol "�tails" requires explicit package name at

/usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi line 84.

Global symbol "$Config" requires explicit package name at

/usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi line 133.

Execution of /usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi

aborted due to compilation errors.

可以看到，CGI错误和前面的404错误格式相同，包含日期/时间、错误级别以及客户地址、错误信息。但这个CGI错误的错误信息有好几行，这往往会干扰一些错误日志分析软件的工作。

有了这个错误信息，即使是对Perl不太熟悉的人也能够找出许多有关错误的信息，例如至少可以方便地得知是哪几行代码出现了问题。Perl在报告程序错误方面的机制是相当完善的。当然，不同的编程语言输出到错误日志的信息会有所不同。

由于CGI程序运行环境的特殊性，如果没有错误日志的帮助，大多数CGI程序的错误都将很难解决。

有不少人在邮件列表或者新闻组中抱怨说自己有一个CGI程序，当打开网页时服务器却返回错误，比如“Internal Server Error”。我们可以肯定，这些人还没有看过服务器的错误日志，或者根本不知道错误日志的存在。决多大多数情况下，错误日志能够精确地指出CGI错误的所在以及如何修正这个错误。

5、查看服务器日志方法

在服务器维护时，经常会遇到各种错误，不断地检查服务器的日志，可以方便知道哪儿出了问题。用ssh远程连接到服务器，然后输入下面的命令，可以动态显示错误日志后几行内容，方便进行排错。

tail -f /usr/local/apache/logs/error_log

无论具体采用的是哪一种方法，同时打开多个终端窗口都是一种好习惯：比如在一个窗口中显示错误日志，在另一个窗口中显示访问日志。这样，我们就能够随时获知网站上发生的事情并立即予以解决。

6、Apache日志的定制

有时候我们需要定制Apache默认日志的格式和内容，比如增加或减少日志所记录的信息、改变默认日志文件的格式等。

（1）定义日志格式及格式串变量含义详解

     定制日志文件的格式涉及到两个指令，即LogFormat指令和CustomLog指令。默认httpd.conf文件提供了关于这两个指令的几个示例。
LogFormat指令：定义日志格式并为它指定一个名字，以后就可以直接引用这个名字。
CustomLog指令：设置日志文件，并指明日志文件所用的格式（通常通过格式的名字）。

LogFormat指令在默认的httpd.conf文件中，我们可以找到下面这行代码：

LogFormat "%h %l %u %t \"%r\" %>s %b" common

该指令创建了一种名为“common”的日志格式，日志的格式在双引号包围的内容中指定。格式字符串中的每一个变量代表着一项特定的信息，这些信息按照格式串规定的次序写入到日志文件。   Apache文档已经给出了所有可用于格式串的变量及其含义，下面是其译文：
     %a: 远程IP地址
     %A: 本地IP地址
     %B: 已发送的字节数，不包含HTTP头
     %b: CLF格式的已发送字节数量，不包含HTTP头。例如当没有发送数据时，写入‘-’而不是0。
      %{FOOBAR}e: 环境变量FOOBAR的内容
      %f: 文件名字
      %h: 远程主机
      %H 请求的协议
      %Foobar}i: Foobar的内容，发送给服务器的请求的标头行。
      %l: 远程登录名字（来自identd，如提供的话）
      %m: 请求的方法
      %{Foobar}n: 来自另外一个模块的注解“Foobar”的内容
      %{Foobar}o: Foobar的内容，应答的标头行
      %p: 服务器响应请求时使用的端口
      %P: 响应请求的子进程ID。
      %q: 查询字符串（如果存在查询字符串，则包含“?”后面的部分；否则，它是一个空字符串。）
      %r: 请求的第一行
      %s: 状态。对于进行内部重定向的请求，这是指*原来*请求的状态。如果用%...>s，则是指后来的请求。
      %t: 以公共日志时间格式表示的时间（或称为标准英文格式）
     %{format}t: 以指定格式format表示的时间
      %T: 为响应请求而耗费的时间，以秒计
      %u: 远程用户（来自auth；如果返回状态（%s）是401则可能是伪造的）
      %U: 用户所请求的URL路径
      %v: 响应请求的服务器的ServerName
      %V: 依照UseCanonicalName设置得到的服务器名字
分析前面来自默认httpd.conf文件的LogFormat指令示例，可以看出它创建了一种名为“common”的日志格式，其中包括：远程主机，远程登录名字，远程用户，请求时间，请求的第一行代码，请求状态，以及发送的字节数。

LogFormat "%V %h %l %u %t \"%r\" %>s %b" common
【补充】"<"和">"修饰符可以用来指定对于已被内部重定向的请求是选择原始的请求还是选择最终的请求。默认情况下，%s, %U, %T, %D, %r 使用原始请求，而所有其他格式串则选择最终请求。例如，%>s 可以用于记录请求的最终状态，而 %<u 则记录一个已经被内部重定向到非认证资源的请求的原始认证用户。
如果在“%”和变量之间放入了一个或者多个HTTP状态代码，则只有当请求返回的状态代码属于指定的状态代码之一时，变量所代表的内容才会被记录。例如，如果我们想要记录的是网站的所有无效链接，那么可以使用：

LogFormat @4{Referer}i BrokenLinks

反之，如果我们想要记录那些状态代码不等于指定值的请求，只需加入一个“!”符号即可：

LogFormat %!200U SomethingWrong

7、日志中记录的相关信息说明

有许多信息可以用日志文件来记录，其中包括：
（1）远程机器的地址：“远程机器的地址”和“谁在浏览网站”差不多，但并不等同。
（2）浏览时间：浏览者何时开始访问网站？从这个问题的答案中我们能够了解不少情况。从单个访问记录能够得到的信息非常有限，但如果从数千个访问记录出发，我们就可以得到非常有用和重要的统计信息。
（3）用户所访问的资源：网站的哪些部分最受用户欢迎？这些最受欢迎的部分就是我们应该继续加以发展的部分。网站的哪些部分总是受到冷落？网站中这些受到冷落的部分或许隐藏得太深，或许它们确实没有什么意思，此时我们就得想办法加以改进。当然，网站还有的内容，比如法律上的声明，虽然很少有人访问，但却不应该随便地改动它们。
（4）无效链接：当然，日志文件还能够告诉我们哪些东西不能按照我们所想象地运行。网站中是否存在错误的链接？其他网站链接过来时有没有搞错URL？是否存在不能正常运行的CGI程序？是否有搜索引擎检索程序每秒发出数千个请求，从而影响了本网站的正常服务？这些问题的答案都可以从日志文件找到线索。

nginx日志

转自https://www.cnblogs.com/xulan0922/p/9219178.html

Nginx日志主要分为两种：访问日志和错误日志。日志开关在Nginx配置文件（/etc/nginx/nginx.conf）中设置，两种日志都可以选择性关闭，默认都是打开的。

访问日志

访问日志主要记录客户端访问Nginx的每一个请求，格式可以自定义。通过访问日志，你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息。Nginx中访问日志相关指令主要有两条：
（1）.log_format
log_format用来设置日志格式，也就是日志文件中每条日志的格式，具体如下：
log_format name(格式名称) type(格式样式)
举例说明如下：
log_format main '$server_name $remote_addr - $remote_user [$time_local] "$request" '
'$status $uptream_status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" '
'$ssl_protocol $ssl_cipher $upstream_addr $request_time $upstream_response_time';

每个样式的含义如下：
$server_name：虚拟主机名称。
$remote_addr：远程客户端的IP地址。
-：空白，用一个“-”占位符替代，历史原因导致还存在。
$remote_user：远程客户端用户名称，用于记录浏览者进行身份验证时提供的名字，如登录百度的用户名scq2099yt，如果没有登录就是空白。
[$time_local]：访问的时间与时区，比如18/Jul/2012:17:00:01 +0800，时间信息最后的"+0800"表示服务器所处时区位于UTC之后的8小时。
$request：请求的URI和HTTP协议，这是整个PV日志记录中最有用的信息，记录服务器收到一个什么样的请求
$status：记录请求返回的http状态码，比如成功是200。
$uptream_status：upstream状态，比如成功是200.

$upstream_addr:后端服务器的IP地址

$upstream_status：后端服务器返回的HTTP状态码

在server{}中添加
add_header backendIP $upstream_addr;
add_header backendCode $upstream_status;

$body_bytes_sent：发送给客户端的文件主体内容的大小，比如899，可以将日志每条记录中的这个值累加起来以粗略估计服务器吞吐量。
$http_referer：记录从哪个页面链接访问过来的。
$http_user_agent：客户端浏览器信息
$http_x_forwarded_for：客户端的真实ip，通常web服务器放在反向代理的后面，这样就不能获取到客户的IP地址了，通过$remote_add拿到的IP地址是反向代理服务器的iP地址。反向代理服务器在转发请求的http头信息中，可以增加x_forwarded_for信息，用以记录原有客户端的IP地址和原来客户端的请求的服务器地址。
$ssl_protocol：SSL协议版本，比如TLSv1。
$ssl_cipher：交换数据中的算法，比如RC4-SHA。
$upstream_addr：upstream的地址，即真正提供服务的主机地址。
$request_time：整个请求的总时间。
$upstream_response_time：请求过程中，upstream的响应时间。
访问日志中一个典型的记录如下：
192.168.1.102 - scq2099yt [18/Mar/2013:23:30:42 +0800] "GET /stats/awstats.pl?config=scq2099yt HTTP/1.1" 200 899 "http://192.168.1.1/pv/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows XXX; Maxthon)"
需要注意的是：log_format配置必须放在http内，否则会出现如下警告信息：
nginx: [warn] the "log_format" directive may be used only on "http" level in /etc/nginx/nginx.conf:97
（2）access_log
access_log指令用来指定日志文件的存放路径（包含日志文件名）、格式和缓存大小，具体如下：
access_log path(存放路径) [format(自定义日志格式名称) [buffer=size | off]]
举例说明如下：
access_log logs/access.log main;
如果想关闭日志，可以如下：
access_log off;
能够使用access_log指令的字段包括：http、server、location。
需要注意的是：Nginx进程设置的用户和组必须对日志路径有创建文件的权限，否则，会报错。
Nginx支持为每个location指定强大的日志记录。同样的连接可以在同一时间输出到不止一个的日志中。

错误日志

错误日志主要记录客户端访问Nginx出错时的日志，格式不支持自定义。通过错误日志，你可以得到系统某个服务或server的性能瓶颈等。因此，将日志好好利用，你可以得到很多有价值的信息。错误日志由指令error_log来指定，具体格式如下：
error_log path(存放路径) level(日志等级)
path含义同access_log，level表示日志等级，具体如下：
[ debug | info | notice | warn | error | crit ]
从左至右，日志详细程度逐级递减，即debug最详细，crit最少。
举例说明如下：
error_log logs/error.log info;
需要注意的是：error_log off并不能关闭错误日志，而是会将错误日志记录到一个文件名为off的文件中。
正确的关闭错误日志记录功能的方法如下：
error_log /dev/null;
上面表示将存储日志的路径设置为“垃圾桶”。

posted @ 2020-04-19 07:52 一个aaa 阅读(1058) 评论(0) 编辑收藏举报

刷新页面返回顶部