WEB日志分析

WEB正确日志格式分析

域	内容	含义
$1	192.168.1.5	远程主机IP %h
$2	-	占位符 %l
$3	-	占位符 %u
$4	21/Mar/2020:16:34:53	服务器完成请求处理时间，日/月/年：小时：分钟：秒：时区 %t
$5	+0800	时区
$6	GET	方法
$7	/noindex/css/bootstrap.min.css	资源URL
$8	HTTP/1.1	协义
$9	200	返回状态
$10	19341	发送给客户端部字节数

日志统计举例

[root@master ~]# cat /etc/httpd/logs/access_log |awk '{print $1}'

对IP排序

[root@master ~]# cat /etc/httpd/logs/access_log |awk '{print $1}'|sort

打印每一个重复出现IP的次数，

[root@master ~]# cat /etc/httpd/logs/access_log |awk '{print $1}'|sort|uniq -c

排序并统计行数

[root@master ~]# cat /etc/httpd/logs/access_log |awk '{print $1}'|sort|uniq -c|sort -rn|wc -l

显示访问前10的IP地址

[root@master ~]# cat /etc/httpd/logs/access_log |awk '{print $1}'|sort|uniq -c|sort -rn|head -10

显示指定时间以后的日志

[root@master ~]# cat /etc/httpd/logs/access_log |awk '$4>="21/Mar/2020:16:34:13"{print}'

找出访问最大的IP地址并封掉

[root@master ~]# cat /etc/httpd/logs/access_log |awk '{print $1}'|sort|uniq -c|sort -rn|more

找出日志中下载最的几个css文件，

[root@master ~]# cat /etc/httpd/logs/access_log |awk '($7~/css/){print $10" "$4" "$7" "$1}'|sort -n|uniq -c|sort -rn|head -10
      6 241 [21/Mar/2020:16:34:52 /noindex/css/fonts/Light/OpenSans-Light.woff 192.168.1.5
      6 240 [21/Mar/2020:16:34:52 /noindex/css/fonts/Light/OpenSans-Light.ttf 192.168.1.5
      6 239 [21/Mar/2020:16:34:52 /noindex/css/fonts/Bold/OpenSans-Bold.woff 192.168.1.5
      6 238 [21/Mar/2020:16:34:53 /noindex/css/fonts/Bold/OpenSans-Bold.ttf 192.168.1.5
      5 241 [21/Mar/2020:16:34:53 /noindex/css/fonts/Light/OpenSans-Light.woff 192.168.1.5
      5 240 [21/Mar/2020:16:34:53 /noindex/css/fonts/Light/OpenSans-Light.ttf 192.168.1.5
      5 240 [21/Mar/2020:16:34:51 /noindex/css/fonts/Light/OpenSans-Light.ttf 192.168.1.5
      5 239 [21/Mar/2020:16:34:53 /noindex/css/fonts/Bold/OpenSans-Bold.woff 192.168.1.5
      5 238 [21/Mar/2020:16:34:52 /noindex/css/fonts/Bold/OpenSans-Bold.ttf 192.168.1.5
      5 238 [21/Mar/2020:16:34:51 /noindex/css/fonts/Bold/OpenSans-Bold.ttf 192.168.1.5

[root@master ~]# cat /etc/httpd/logs/access_log |awk '($10>=1000 && $7~/css/){print $10" "$4" "$7" "$1}'|sort -n|uniq -c|sort -rn|head -10
      1 5081 [21/Mar/2020:16:47:08 /noindex/css/open-sans.css 192.168.1.4
      1 5081 [21/Mar/2020:16:34:13 /noindex/css/open-sans.css 192.168.1.5
      1 19341 [21/Mar/2020:16:47:08 /noindex/css/bootstrap.min.css 192.168.1.4
      1 19341 [21/Mar/2020:16:34:13 /noindex/css/bootstrap.min.css 192.168.1.5
大于等于1k

简单统计流量

[root@master ~]# cat /etc/httpd/logs/access_log |awk '{sum+=$10}'

统计401访问拒绝的数量

[root@master ~]# cat /etc/httpd/logs/access_log |awk '(/401/)'|wc -l

[root@master ~]# cat /etc/httpd/logs/access_log |awk '{print $9}'|sort|uniq -c|sort -rn

查看某一时间的IP连接数

[root@master ~]# grep "2020:16:47" /etc/httpd/logs/access_log |awk '{print $4}'|sort|uniq -c|sort -rn

错误日志分析、

错误日志记录等级

紧急程序	等级	说明
0	emerg	出现紧急情况使得系统不可用，如宕机
1	alert	需要立即引起注意的情况
2	crit	关键错误，危险情况的警告，由于配置不当所致
3	error	一般错误
4	warm	警告信息，不算错误信息，主要记录服务器出现的某种信息
5	notice	需要引起注意的情况
6	info	值得报告的一般信息，比如服务器重启
7	debug	由于运行于debug模式所产生的信息