Nginx日志分析

日志服务支持通过数据接入向导配置采集Nginx日志，并自动创建索引和Nginx日志仪表盘，达到快速采集并分析Nginx日志。

很多个人站长选取Nginx作为服务器搭建网站，在对网站访问情况进行分析时，需要对Nginx访问日志统计分析，从中获得网站的访问量，访问时段等访问情况，传统模式下利用CNZZ模式，在前端页面插入js，用户访问的时候触发js，但只能记录页面的访问请求，像ajax之类的请求是无法记录的，还有爬虫信息也不会记录。或者利用流计算、离线统计分析Nginx访问日志，从日志中挖掘有用信息，但需要搭建一套环境，并且在实时性以及分析灵活性难以平衡。通过对两种方式相互补充，才能对网站的状况有更加深入的了解。

日志服务在支持查询分析时实时日志功能，同时提供Nginx日志仪表盘（Dashboard），极大的降低了Nginx访问日志的分析复杂度，可以用于便捷统计网站的访问数据。接下来以分析Nginx访问日志为例，介绍日志分析功能在分析Nginx访问日志场景下的详细步骤。

日志文件是以.log为后缀的，登录到网站看到日志文件为：

[root@tianyun ~]# cd log/

[root@tianyun log]# ls

a.txt                        log.sh           

cd.mobiletrain.org.log    qd.mobiletrain.org.log  xa.mobiletrain.org.log

dl.mobiletrain.org.log   sh.mobiletrain.org.log zz.cdn-my.mobiletrain.org.log

gz.mobiletrain.org.log   sz.mobiletrain.org.log

hz.mobiletrain.org.log   wh.mobiletrain.org.log

Nginx服务器日志的log_format格式为：

log_format main ‘$remote_addr - $remote_user [$time_local] “$request” ’

 ‘$status $boby_bytes_sent “$http_referer” '

‘”$http_user_agent” “$http_x_forwarded_for” ’;

 

106.117.249.14 - - [22/Mar/2017:11:26:18 +0800] “GET /d/file/c6649665d77368df2b17dc401de25016.jpg HTTP/1.1” 200 4875 “Mozilla/5.0 (iPhone; CPU iPhone OS 10_0_2 like Mac OS X; zh-CN) AppleWebKit/537.51.1 (KHTML, like Genko) Mobile/14A456 UCBrowser/11.3.0.895 Mobile AliApp(TUnionSDK/0.1.6)”