Nginx日志数据分析工具总结

1、 request-log-analyzer

request-log-analyzer这个工具是一个用ruby写的gem包，它不仅能分析rails项目的访问日志，还能分析nginx，apache，MySQL，PostgreSQL的日志，它能统计每个页面的访问次数，一天访问的情况，还有来源分析等。

（1）安装gem工具包

yum install rubygems -y

（2）安装request-log-analyzer包

gem install request-log-analyzer

gem install request-log-analyzer -p https://10.99.202.82:3128（如果需要使用前置代理）

（3）工具使用：（用日志文件作为参数）

request-log-analyzer access.log

request-log-analyzer access.log --format rails3 --output HTML --file report.html（输出为HTML格式）

查询分析结果输出：

2、goaccess日志数据分析工具

（1）安装基础依赖包

yum install gcc-c++ -y

yum install glib2 glib2-devel GeoIP-devel  ncurses-devel zlib zlib-devel

（2）安装goaccess日志分析工具包

$ 不使用前置代理

$ wget https://tar.goaccess.io/goaccess-1.5.5.tar.gz

$ 使用前置代理

$ wget https://tar.goaccess.io/goaccess-1.5.5.tar.gz -e "https_proxy=https://10.99.202.82:3128" --no-check-certificate

$ tar -xzvf goaccess-1.5.5.tar.gz

$ cd goaccess-1.5.5/

$ ./configure --enable-utf8 --enable-geoip

$ ./configure（如果出错的话）

$ make

$ make install

（3）Nginx日志数据结果输出

① 第一种方式：直接输出

goaccess -f access.log --log-format="%h %^[%d:%t %^] \"%r\" %s %b \"%R\" \"%u\"" --date-format="%d/%b/%Y" --time-format=%H:%M:%S

② 第二种方式：分析结果输出为HTML格式

goaccess -f boot.log --log-format="%h %^[%d:%t %^] \"%r\" %s %b \"%R\" \"%u\"" --date-format="%d/%b/%Y" --time-format=%H:%M:%S --hour-spec=min -o /home/nginx-log.html