apache、nginx、iis日志记录的各个字段内容与含义
Apache日志详解见:https://www.cnblogs.com/xiaqiuchu/articles/10400792.html
Apache日志文件名称及路径介绍
安装并启动apache之后,会自动生成access_log,error_log文件(windows系统上是access.log error.log) 日志文件的路径根据安装方式不同位置也是不一样的,一般都是在Apache安装目录的logs子目录中
Apache访问日志格式详解
access_log记录了所有对Web服务器的访问活动,下面是访问日志access_log中的一个标准记录
192.168.27.135 - - [01/Apr/2020:10:37:19 +0800] "GET / HTTP/1.1" 200 45
日志字段所代表的内容如下:
1.远程主机IP:表明访问网站的是谁
2.空白(E-mail):为了避免用户的邮箱被垃圾邮件骚扰,第二项就用“-”取代了
3.空白(登录名):用于记录浏览者进行身份验证时提供的名字。
4.请求时间:用方括号包围,而且采用“公用日志格式”或者“标准英文格式”。 时间信息最后的“+0800”表示服务器所处时区位于UTC之后的8小时。
5.方法+资源+协议:服务器收到的是一个什么样的请求。该项信息的典型格式是“METHOD RESOURCE PROTOCOL”,即“方法 资源 协议”。
METHOD: GET、POST、HEAD、……
RESOURCE: /、index.html、/default/index.php、……(请求的文件)
PROTOCOL: HTTP+版本号
6.状态代码:请求是否成功,或者遇到了什么样的错误。大多数时候,这项值是200,它表示服务器已经成功地响应浏览器的请求,一切正常。
7.发送字节数:表示发送给客户端的总字节数。它告诉我们传输是否被打断(该数值是否和文件的大小相同)。把日志记录中的这些值加起来就可以得知服务器在一天、一周或者一月内发送了多少数据。
Apache访问日志配置
(1)访问日志格式分类
apache中日志记录格式主要有两种,普通型(common)和复合型(combined),安装时默认使用普通型(common)类型日志记录访问信息,
(2)配置Apache访问日志格式命令及参数
配置Apache访问日志格式主要有两个参数,即LogFormat指令和CustomLog指令
LogFormat指令:定义格式并为格式指定一个名字,以后我们就可以直接引用这个名字。
CustomLog指令:设置日志文件,并指明日志文件所用的格式(通常通过格式的名字)。
在apache的配置文件httpd.conf中,有几行是这么配置的:
LogFormat "%h %l %u %t "%r" %>s %b" common 定义格式和名字
CustomLog "logs/access.log" common 普通文件记录
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
CustomLog logs/access_log combined 复合日志记录
访问日志文件的位置实际上是一个配置选项。如果我们检查httpd.conf配置文件,可以看到该文件中有如下这行内容:
CustomLog /usr/local/apache/logs/access_log common
CustomLog指令指定了保存日志文件的具体位置以及日志的格式。上面这行指令指定的是common日志格式,自从有了Web服务器开始,common格式就是它的标准格式。
Apache错误日志格式详解
错误日志的文件名字是error_log(Windows平台是error.log)。错误日志的位置可以通过ErrorLog指令设置:ErrorLog logs/error.log , 除非文件位置用根“/”开头,否则这个文件位置是相对于ServerRoot目录的相对路径。
错误日志无论在格式上还是在内容上都和访问日志不同。然而,错误日志和访问日志一样也提供丰富的信息,我们可以利用这些信息分析服务器的运行情况、哪里出现了问题。
错误日志记录了服务器运行期间遇到的各种错误,以及一些普通的诊断信息,比如服务器何时启动、何时关闭等。我们可以设置日志文件记录信息级别的高低,控制日志文件记录信息的数量和类型。这是通过LogLevel指令设置的,该指令默认设置的级别是error,即记录称得上错误的事件。有关该指令中允许设置的各种选项的完整清单,请参见http://www.apache.org/docs/mod/core.html#loglevel的Apache文档。
我们在日志文件中见到的内容分属两类:文档错误和CGI错误。但是,错误日志中偶尔也会出现配置错误,另外还有前面提到的服务器启动和关闭信息。
查看服务器日志方法
在服务器维护时,经常会遇到各种错误,不断地检查服务器的日志,可以方便知道哪儿出了问题。用ssh远程连接到服务器,然后输入下面的命令,可以动态显示错误日志后几行内容,方便进行排错。
tail -f /usr/local/apache/logs/error_log
无论具体采用的是哪一种方法,同时打开多个终端窗口都是一种好习惯:比如在一个窗口中显示错误日志,在另一个窗口中显示访问日志。这样,我们就能够随时获知网站上发生的事情并立即予以解决。
IIS服务器日志
复制其中的一段:
2020-04-16 07:16:19 W3SVC680016 192.168.27.156 GET /index.asp - 8081 - 192.168.27.156 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.2;+SV1;+.NET+CLR+1.1.4322;+.NET+CLR+2.0.50727;+.NET+CLR+3.0.04506.30) 200 0 0
#Software: Microsoft Internet Information Services 6.0
#Version: 1.0
#Date: 2020-04-16 08:08:32
#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status
2020-04-16 08:08:32 W3SVC680016 192.168.27.156 GET /index.asp - 8081 - 192.168.27.156 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.2;+SV1;+.NET+CLR+1.1.4322;+.NET+CLR+2.0.50727;+.NET+CLR+3.0.04506.30) 200 0 0
2020-04-16 08:08:32 W3SVC680016 192.168.27.156 GET /skins/default.css - 8081 - 192.168.27.156 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.2;+SV1;+.NET+CLR+1.1.4322;+.NET+CLR+2.0.50727;+.NET+CLR+3.0.04506.30) 200 0 0
#Software、#Version、#Date 分别是服务器程序、版本、时间。
#Fields列为日志内容各字段列说明(不同服务器配置略有差异)
- date:日期
- time:时间,这两个字段组成资源请求详细时间,改时间通常为服务器端时间,注意,服务器采用时区可能与本地时区不一致。
- s-ip:服务器IP,资源处理服务器IP,通常是服务器本机IP。
- cs-method:请求方式,常见有GET与POST请求。
- cs-uri-stem:请求资源路径,网站根目录下的绝对路径位置。
- cs-uri-query:请求参数。
- s-port:使用端口,通常HTTP协议端口是80,HTTPS协议端口是443。
- cs-username:客户端用户名,通常为空或-。
- c-ip:客户端IP,判断唯一用户的重要依据,也是判断搜索蜘蛛爬虫真伪的依据。如何判断百度蜘蛛谷歌爬虫真伪?
- cs(User-Agent):用户代理字符串,用户使用的设备与浏览器类型,以及是否是爬虫蜘蛛程序,但此数据可模拟,需结合上面客户端IP才能准确判断是否是蜘蛛程序。
- sc-status:请求资源返回状态码,HTTP状态码,通常200为正常,301为跳转,404为资源不存在,500为服务器错误,详细网站HTTP状态码。
- sc-substatus:协议子状态,通常为0。
- sc-win32-status:Win32状态,通常为0。
- time-taken:花费时间,单位为毫秒。
- cs-version:协议版本。
- cs(Referer):请求来路,从哪个页面点击链接进入的该资源。通常如果存在该字段,可判断出搜索引擎与搜索词。
- sc-bytes:发送文件的大小,单位为字节。一般为所请求资源文件的大小。
- s-sitename:服务器站点名称,用于区分同一服务器下的多个站点。
- s-computername:服务器计算机名称。
- cs(Cookie):客户端请求Cookie。
- cs-host:客户端请求主机名。
Nginx服务器日志
1、nginx的log日志分为access log 和 error log
其中access log 记录了哪些用户,哪些页面以及用户浏览器、ip和其他的访问信息;error log 则是记录服务器错误日志
错误日志的形式如下:
10.1.1.1 - - [22/Aug/2014:16:48:14 +0800] "POST /ajax/MbpRequest.do HTTP/1.1" 200 367 "-" "Dalvik/1.6.0 (Linux; U; Android 4.1.1; ARMM7K Build/JRO03H)" "119.189.56.175" 127.0.0.1:8080 0.022 0.022
2、从上面我们可以看出几部分信息:
1.客户端(用户)IP地址。如:上例中的 10.1.1.1 (内网负载均衡地址)
2.访问时间。如:上例中的 [22/Aug/2014:16:48:19 +0800]
3.访问端口。如:上例中的 127.0.0.1:8080
4.响应时间。如:上例中的 0.022
5.请求时间。如:上例中的 0.022
6.用户地理位置代码(国家代码)。
7.请求的url地址(目标url地址)的host。如:上例中的 /….
8.请求方式(GET或者POST等)。如:上例中的 GET
9.请求url地址(去除host部分)。如:上例中的 /html/test.html
10.请求状态(状态码,200表示成功,404表示页面不存在,301表示永久重定向等,具体状态码可以在网上找相关文章,不再赘述)。如:上例中的 “200”
11.请求页面大小,默认为B(byte)。如:上例中的 2426
12.来源页面,即从哪个页面转到本页,专业名称叫做“referer”。如:上例中的 “http://a.com”
13.用户浏览器语言。如:上例中的 “es-ES,es;q=0.8”
14. 用户浏览器其他信息,浏览器版本、浏览器类型等。如:上例中的 “Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.97 Safari/537.11”
其实nginx access日志的格式不是一成不变的,是可以自定义的。
在nginx的nginx.conf配置文件找到:log_format 这里就是日志的格式
看一下和上述日志匹配的log格式设置:
access日志格式配置,具体参数不再细说,上面都已经说过了,自己对应一下即可
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"'
'$upstream_addr $upstream_response_time $request_time ';
access_log logs/access.log main;12345
配置access log日志的存储位置及文件,注意:access.log文件是可以按日期进行分割的,方便查看及处理
access_log /usr/local/nginx/log/access.log main;
相关说明解释
1.$remote_addr 与$http_x_forwarded_for 用以记录客户端的ip地址;
2.$remote_user :用来记录客户端用户名称;
3.$time_local : 用来记录访问时间与时区;
4.$request : 用来记录请求的url与http协议;
5.$status : 用来记录请求状态;成功是200,
6.$body_bytes_s ent :记录发送给客户端文件主体内容大小;
7.$http_referer :用来记录从那个页面链接访问过来的;
8.$http_user_agent :记录客户端浏览器的相关信息;
原文链接:https://blog.csdn.net/javaloveiphone/java/article/details/74238866