linux 统计某个时段ip访问次数最多的

linux下使用awk命令按时间段筛选日志 

zcat com.log20160529.gz | grep 'dianping_reply'| awk '{split($4,array,"[");if(array[2]>="29/May/2016:00:00:26" && array[2]<="29/May/2016:00:01:14"){print $0}}' 

解释：扫描gz压缩文件，从中寻找带有`dianping_reply`的行，将改行按照`[`进行拆分，然后直接使用if条件进行判断，比较，最终输出想要的结果。

命令解析：

zcat 直接读取压缩文件的内容
grep用来过滤特定字符的行
awk 用来执行命令
split用来切分字符串

统计某段时间访问量最多的10个ip地址：
cat jie.jisujie.com.20200516.log|awk '{split($4,array,"]");if(array[1]>="14:13:55" && array[1]<="21:53:55"){print $0}}'|awk '{print $1}'|sort |uniq -c|sort -n|tail -10

 

 查询耗时大于3秒的响应：cat $log|grep 响应|awk '{split($8, arr,":");if((arr[2]+0)>3)print $8}' 

 

  查询耗时大于3秒的接口调用次数：

cat $log|grep 响应|awk '{split($8, arr,":");if((arr[2]+0)>3){split($6,funcarr,"-");print funcarr[1]}}'|sort|uniq -c |sort -nr

 

 其他写法参考如下(不是统计上面的日志)：

 cat 接口日志文件|sed 's/ms,//g' |awk '{ if (substr($8,9) -100 >0 ) print}'|awk '{print $9}'|sort|uniq -c|sort -nr|head

按照日期过滤查找：
awk -F - '"2012.12.06 01:56:01" < $1 && $1 <= "2012.12.08 04:30:00"' server.log* 
awk '"16:52:50" < $4' log-m-all-2020-08-21.php|grep 117.136.62.176|awk '{print $4}'
awk '"16:47:50" < $4 && $4<="16:49:07"' log-m-all-2020-08-21.php|grep 117.136.62.176|awk '{print $4}'