ubuntu20.04安装goaccess实时对nginx日志进行分析

ubuntu20.04安装goaccess实时对nginx日志进行分析

goaccess可以对nginx日志进行分析，生成实时动态页面，同时通过nginx反向代理来解决WebSocket数据传输问题、

一、ubuntu20.04安装goaccess

配置goaccess apt源

cd /etc/apt
wget -O - https://deb.goaccess.io/gnugpg.key | gpg --dearmor | sudo tee /usr/share/keyrings/goaccess.gpg >/dev/null
echo "deb [signed-by=/usr/share/keyrings/goaccess.gpg arch=$(dpkg --print-architecture)] https://deb.goaccess.io/ $(lsb_release -cs) main" |  tee /etc/apt/sources.list.d/goaccess.list
apt-get update
apt-get install goaccess

查看是否安装成功 dpkg -l | grep goaccess

二、修改配置文件

vim /etc/goaccess/goaccess.conf
# 在 # NCSA Combined Log Format后添加以下配置
time-format %T
date-format %d/%b/%Y
log-format %h %^[%d:%t %^] "%r" %s %b "%R" "%u"

修改完成后保存后退出

三、生成动态实时的html报告

LANG="zh_CN.UTF-8" /usr/bin/goaccess -a -d -f nginx日志文件绝对路径 -p /etc/goaccess/goaccess.conf(goaccess配置文件) -o /home/wwwroot/web/report/index.html --port=9870 --real-time-html --daemonize

常用参数说明

• -a --agent-list 启用由主机用户代理的列表。为了更快的解析，不启用该项
• -d --with-output-resolver 在HTML/JSON输出中开启IP解析，会使用GeoIP来进行IP解析
• -f --log-file 需要分析的日志文件路径
• -p --config-file 配置文件路径
• -o --output 输出格式，支持html、json、csv
• -m --with-mouse 控制面板支持鼠标点击
• -q --no-query-string 忽略请求的参数部分
• --real-time-html 实时生成HTML报告
• --daemonize 守护进程模式，--real-time-html时使用
• --port指定端口号

四、配置web界面查看

配置nginx,可以使用htpasswd对页面配置用户认证。如果没有该命令的话可以使用apt install apache2-utils安装

# 先修改nginx配置文件
location ^~ /report {
	# 设置运行的ip地址
	allow ip;
	deny all;
	auth_basic "Nginx_status";
	auth_basic_user_file /etc/nginx/conf.d/nginx_htpasswd;
	alias /home/wwwroot/web/report;
	index index.html;
}
# 配置用户和密码
htpasswd -c  /etc/nginx/conf.d/nginx_htpasswd 用户名
# 重新加载nginx中间件
nginx -s reload

五、自动更新页面数据

报表页面与GoAccess服务端通过HTTP建立连接后，后续就是WebSocket数据传输了，GoAccess默认使用了7890端口。通常情况下，服务器上的HTTP服务已经使用了80端口，并且出于安全考虑关闭其他端口，浏览器的Html页面与GoAccess就无法正常进行数据交互。这时我们可以配置Nginx反向代理并修改报表访问路径来解决此问题

1.配置nginx代理

vim goaccess_svr.conf
upstream goaccess_svr {
    server 127.0.0.1:9870;  
}
# 在nginx主配置文件添加
location /goaccess {
    	proxy_pass http://goaccess_svr;
    	proxy_set_header Host $http_host;
    	proxy_set_header X-Forwarded-Proto $scheme;
    	proxy_set_header X-Real-IP $remote_addr;
    	proxy_http_version 1.1;
    	proxy_set_header Upgrade $http_upgrade;
    	proxy_set_header Connection "upgrade";
}

2.修改报表页面

需要修改里面的与GoAccess服务端连接的URL和端口

cd /home/wwwroot/web/report
vim index.html
# 查找关键字"port",换成自己的域名或者ip
var connection = {"url": "server.example.com/goaccess","port": 80}
# 重新加载nginx中间件
nginx -s reload

---

最后效果如下：