filbeat遇到的坑（运行久和文件数据量多时候 ）

1、现像，吃cpu，&& io

 

 

过程：量大的时候发现在filbeat很吃io，

 

原因：

日志量文件数太多，因为日志是2m一个文件 ，一天几十个G

 

开始怀疑是centos  6的问题，，后面观察下来7也有这个问题，filebeat运行久和文件数据量多时候 

 

所以会导致 filbeat 数据文件 registry    io  吃很多   发现这个文件 有6m左右 

 

 1、忧化配置

配置参数：

close_inactive: 5m
close_removed: true
clean_removed: true
max_procs: 1
scan_frequency: 120s

 

2、要求开发统一打200m一个大小的文件 ，禁止打小文件 

 

3、每天压缩一次这个log文件 

 

观察几天下来，filebeat正常