nginx日志分析

通过nginx日志利用shell统计日pv和uv

网上记录nginx日志统计访问量的脚本的文档很多，但是看来看去实际都是一个东西，如下：

1.根据访问IP统计UV

awk '{print $1}'  access.log|sort | uniq -c |wc -l

269129    -  2017 年 81634   = 187495

2.统计访问URL统计PV

awk '{print $7}' access.log|wc -l

59382452 - 2017年 15003912 = 44378540

3.查询访问最频繁的URL

awk '{print $7}' access.log|sort | uniq -c |sort -n -k 1 -r|more

4.查询访问最频繁的IP

awk '{print $1}' access.log|sort | uniq -c |sort -n -k 1 -r|more

5.根据时间段统计查看日志

cat  access.log| sed -n '/14\/Mar\/2015:21/,/14\/Mar\/2015:22/p'|more

其中，第五条不好使，具体不说了，也没有统计当日的的pv和uv，自己为了zabbix写了一个，其实也很简单，记一下。

pv：cat  /usr/local/nginx/logs/access.log| sed -n /`date "+%d\/%b\/%Y"`/p |awk '{print $7}' |sort|wc -l

uv：cat  /usr/local/nginx/logs/access.log| sed -n /`date "+%d\/%b\/%Y"`/p |awk '{print $1}' |sort|uniq -c |wc -l

这个是看当日的，看昨天的改日期格式就行。

 

原文：https://blog.csdn.net/qq_33324608/article/details/71171574

https://blog.csdn.net/qq_33324608/article/details/71171574

https://www.cnblogs.com/handongyu/p/6513185.html

如果需要得到请求处理的时间，需要在nginx log 里面加上$request_time，下面是我的log_format

nginx.conf

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

 

                              '$status $body_bytes_sent $request_body "$http_referer" '

 

                              '"$http_user_agent" "$http_x_forwarded_for" "$request_time"';

 

修改之后重启nginx，查看nginx log的时候，就能看到nginx处理请求所花的时间了，这个时间基本就是后端所花的时间，所以可以根据这个字段来得到响应慢的请求

以下是就是我用到的一些命令了

获取pv数

$ cat /usr/local/nginx/logs/access.log | wc -l

获取ip数

$ cat /usr/local/nginx/logs/access.log | awk '{print $1}' | sort -k1 -r | uniq | wc -l

获取最耗时的请求时间、url、耗时，前10名, 可以修改后面的数字获取更多，不加则获取全部

$ cat /usr/local/class/logs/access.log | awk '{print $4,$7,$NF}' | awk -F '"' '{print $1,$2,$3}' | sort -k3 -rn | head -10

获取每分钟的请求数量，输出成csv文件，然后用excel打开，可以生成柱状图

$ cat /usr/local/class/logs/access.log  | awk '{print substr($4,14,5)}' | uniq -c | awk '{print $2","$1}' > access.csv

上面的图是用excel生成的，也可以用命令行工具gnuplot生成png，我也试了一下，没什么问题，直接以编程的形式得到报表，去掉人工操作部分，很方便，但是有一点就是x轴数据比较多的时候，不能像excel一样自动稀释数据，所以我还是喜欢用excel来生成

其实用来用去也就是那么几个命令:

cat：输入文件内容

grep：过滤文本

'sort'：排序

'uniq'：去重

'awk'：文本处理

命令组合使用，单个命令可以使用多次，来达到多重过滤的效果，前面一个命令的输出就是后一个命令的输入，流式处理，只要学会这个命令，有多看似复杂的东西，都变得异常简单。

上面介绍的都是命令，下面再介绍一个直接输出html的，其实就是利用go-access来分析nginx日志

cat /usr/local/nginx/logs/access.log | docker run --rm -i diyan/goaccess   --time-format='%H:%M:%S'   --date-format='%d/%b/%Y'   --log-format='%h %^[%d:%t %^] "%r" %s %b "%R" "%u"' > index.html

go-access是以docker容器的形式运行的，只要你安装了docker，就能直接运行，免安装很方便

以上脚本，配合日志每天的日志分割，然后在crontab里面配置一下自动运行脚本，可生成每一天的nginx报表，网站情况一幕了然，当然这里也有缺点，因为不实时

想要统计实时数据，可以使用ngxtop 来查看，安装起来也很简单

$ pip install ngxtop

运行的话，先进到nginx目录，然后再运行，-c 指定配置文件，-t 刷新频率，单位为秒

$ cd /usr/local/nginx

$ ngxtop -c conf/nginx.conf -t 1

但是这种实时的方式，还需要ssh远程登录，不太方便，还可以使用lua来进行实时统计，然后写一个界面把数据展示出来，通过lua-nginx-module，nginx/tengine 都可以用，如果直接安装openresty的话，就方便了，内嵌了lua，不需要重新编译nginx了

利用grep 过滤日志的条数

　　grep “myname”  www.shop.com.log | wc -l  

　　说明：查询包含myname 的日志条数

另：利用 ELK系统分析Nginx日志并对数据进行可视化展示

https://www.cnblogs.com/hanyifeng/p/5857875.html