企业级-Shell案例13——Nginx访问日志分析
Nginx访问日志分析
分析客户访问是否正常
- 访问最多的IP
- 访问最多的页面
- 访问页面状态码的数量
- 根据时间段来访问最多的IP
UV:用户访问次数 (天)
PV:总页面访问次数(天)
访问最多的IP
awk '{a[$1]++}END{print "UV:",length(a);for(v in a)print v,a[v]}' access.log |sort -k2 -nr |head -10
统计时间段访问最多的IP
awk '$4>="[01/Dec/2018:13:20:25" && $4<="[27/Nov/2018:16:20:49"{a[$1]++}END{for(v in a)print v,a[v]}' $LOG_FILE |sort -k2 -nr|head -10
访问最多的10个页面
awk '{a[$7]++}END{print "PV:",length(a);for(v in a){if(a[v]>5)print v,a[v]}}' access.log |sort -k2 -nr
统计访问页面状态码数量
awk '{a[$7" "$9]++}END{for(v in a){if(a[v]>5)print v,a[v]}}' $LOG_FILE |sort -k3 -nr
脚本编写
#!/bin/bash
# 日志格式: $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"
LOG_FILE=$1
echo "统计访问最多的10个IP"
awk '{a[$1]++}END{print "UV:",length(a);for(v in a)print v,a[v]}' $LOG_FILE |sort -k2 -nr |head -10
echo "----------------------"
echo "统计时间段访问最多的IP"
awk '$4>="[01/Dec/2018:13:20:25" && $4<="[27/Nov/2018:16:20:49"{a[$1]++}END{for(v in a)print v,a[v]}' $LOG_FILE |sort -k2 -nr|head -10
echo "----------------------"
echo "统计访问最多的10个页面"
awk '{a[$7]++}END{print "PV:",length(a);for(v in a){if(a[v]>10)print v,a[v]}}' $LOG_FILE |sort -k2 -nr
echo "----------------------"
echo "统计访问页面状态码数量"
awk '{a[$7" "$9]++}END{for(v in a){if(a[v]>5)print v,a[v]}}' $LOG_FILE |sort -k3 -nr
相关博文:
企业级-Shell案例1——服务器系统配置初始化
企业级-Shell案例2——发送告警邮件
企业级-Shell案例3——批量创建多个用户并设置密码
企业级-Shell案例4——一键查看服务器利用率
企业级-Shell案例5——找出占用CPU 内存过高的进程
企业级-Shell案例6——查看网卡的实时流量
企业级-Shell案例7——监控多台服务器磁盘利用率脚本
企业级-Shell案例8——批量检测网站是否异常并邮件通知
企业级-Shell案例9——批量主机远程执行命令脚本
企业级-Shell案例10——一键部署LNMP网站平台脚本
企业级-Shell案例11——监控MySQL主从同步状态是否异常脚本
企业级-Shell案例12——MySql数据库备份脚本
企业级-Shell案例13——Nginx访问日志分析
企业级-Shell案例14——Nginx访问日志自动按天(周、月)切割
企业级-Shell案例15——自动发布Java项目(Tomcat)
企业级-Shell案例16——自动发布PHP项目
企业级-Shell案例17——DOS攻击防范(自动屏蔽攻击IP)
企业级-Shell案例18——目录入侵检测与告警
人生得意须尽欢,莫使金樽空对月。 天生我材必有用,千金散尽还复来。