Nginx日志分析

Linux通过uniq工具进行简单的日志分析

一、统计PV,UV数

1、统计所有的PV数

?

1	cat access.log | wc -l

2、统计指定某一天的PV数

?

1	cat access.log-20220204 | sed -n '/03\/Feb\/2022/p' | wc -l

 3、根据访问IP统计UV

?

1	awk '{print $1}' access.log|sort | uniq -c

二、IP相关统计

1、统计每个IP访问次数

?

1	awk '{print $1}' access.log|sort | uniq -c

2、统计IP访问量（独立ip访问数量）

?

1	awk '{print $1}' access.log | sort -n | uniq | wc -l

 3、查看访问最频繁的前100个IP

?

1	awk '{print $1}' access.log | sort -n |uniq -c | sort -rn | head -n 100

 4、查看访问100次以上的IP

?

1	awk '{print $1}' access.log | sort -n |uniq -c |awk '{if($1 >100) print $0}'|sort -rn

5、查询某个IP的详细访问情况,按访问频率排序

?

1	grep '101.242.68.110' access.log |awk '{print $7}'|sort |uniq -c |sort -rn |head -n 100

三、页面访问统计

1、查看访问最频的api(TOP100)

?

1	awk '{print $7}' access.log | sort |uniq -c | sort -rn | head -n 100

2、查询访问最频繁的api

?

1	awk '{print $7}' access.log|sort | uniq -c |sort -n -k 1 -r|more

3、查看最近1000条记录，访问量最高的页面

?

1	tail -1000 access.log |awk '{print $7}'|sort|uniq -c|sort -nr|less

uniq 命令安装：

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

#Debian apt-get install coreutils    #Ubuntu apt-get install coreutils    #Alpine apk add coreutils    #Arch Linux pacman -S coreutils    #Kali Linux apt-get install coreutils    #CentOS yum install coreutils    #Fedora dnf install coreutils    #OS X brew install coreutils    #Raspbian apt-get install coreutils    #Docker docker run cmd.cat/uniq uniqz