ELK集群redis服务因数据量太大导致内存使用率暴涨故障修复
最近在搭建一套ELK+redis+filebeat的日志分析系统,在filebeat启动后出现了redis服务器内存可用率暴跌,导致服务挂掉的情况,避免忘记,记录一下
通过查看系统日志,可以发现系统报可用内存不足,redis进程被系统kill掉
经过排查是因为Nginx集群四台机器的数据瞬间涌入redis(单机),因数据量太大导致redis内存使用率暴涨
停掉四台Nginx服务器上的filebeat服务,在配置文件内添加以下参数:
tail_files: true
tail_files参数含义:如果设置为true,Filebeat从文件尾开始监控文件新增内容,把新增的每一行文件作为一个事件依次发送,而不是从文件开始处重新发送所有内容
启动filebeat后查看redis内存使用率已经变的很低