【刷题】面筋-linux-如何查找出现频率最高的100个ip地址

命令：

• cat + 文件名 + 管道 + 各种限制条件

简单示例：有如下文件test.txt

1  134.102.173.43
 
2  134.102.173.43
 
3  134.102.171.42
 
4  134.102.170.9

• 要统计出现次数最多的IP可以利用以下shell脚本：

  • cat test.txt | awk '{print $2}' | sort | uniq -c | sort -n -r | head -n 1

• 参数含义：

  • (针对首行不是IP地址信息的情况)tail -n +3 :去掉上面用红色标明的两行。

  • awk '{ print $5}'：取数据的低5域（第5列），本例中是第2列，因此将5写为2。

  • (多加的限制，可忽略)cut -d : -f 1 ：取蓝色部分前面的IP部分。

  • sort：对IP部分进行排序。

  • uniq -c：打印每一重复行出现的次数，并去掉重复行

  • sort -n -r：按照重复行出现的次序倒序排列。

  • head -n 5：取排在前5位的IP，本例中是找"最多"，因此5可以写为1.

当前WEB服务器中联接次数最多的ip地址

• 命令：netstat -ntu | tail -n +3|awk '{ print $5}' | cut -d : -f 1 | sort | uniq -c| sort -n -r | head -n 5

• 参数解析：

  • tail -n +3 :去掉上面用红色标明的两行。

  • awk '{ print $5}'：取数据的低5域（第5列），上面蓝色标明。

  • cut -d : -f 1 ：取蓝色部分前面的IP部分。

  • sort：对IP部分进行排序。

  • uniq -c：打印每一重复行出现的次数。（并去掉重复行）

  • sort -n -r：按照重复行出现的次序倒序排列。

  • head -n 5：取排在前5位的IP

• 其他示例：netstat -ntu |awk '{print $5}' |sort | uniq -c| sort -nr

通过查看日志access_log文件进行统计

• 查看日志中访问次数最多的前10个IP

  • cat access_log |cut -d ' ' -f 1 | sort |uniq -c | sort -nr | awk '{print $0 }' | head -n 10 | less

• 查看日志中出现100次以上的IP

  • cat access_log |cut -d ' ' -f 1 | sort |uniq -c | awk '{if ($1 > 100) print$0}'｜sort -nr | less

• 查看最近访问量最高的文件

  • cat access_log | tail -10000 | awk '{print $7}' | sort | uniq -c | sort -nr | less

• 查看日志中访问超过100次的页面

  • cat access_log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print$0}' | less

• 统计某url，一天的访问次数

  • cat access_log | grep '12/Aug/2009' | grep '/images/index/e1.gif' | wc | awk '{print $1}'

• 前五天的访问次数最多的网页

  • cat access_log | awk '{print $7}' | uniq -c | sort -n -r | head -20

• 从日志里查看该ip在干嘛

  • cat access_log | grep 218.66.36.119 | awk '{print $1"\t"$7}' | sort | uniq -c | sort -nr | less

• 列出传输时间超过 30 秒的文件

  • cat access_log | awk '($NF > 30){print $7}' | sort -n | uniq -c | sort -nr | head -20

• 列出最最耗时的页面(超过60秒的)

  • cat access_log | awk '($NF > 60 &&$7~/.php/){print $7}' | sort -n | uniq -c | sort -nr | head -100

参考链接

• Linux awk统计日志中出现过的IP(或出现次数最多的N个IP)
• [原创]统计IP次数最多的
• Linux awk统计日志中出现过的IP(或出现次数最多的N个IP)

END