一些可以提高filebeat采集效率的点

1、配置好正确的multiline属性,这个属性是用来做多行合并一行的,这个也是应该要做的,一条日志如果占多行,还是一条日志

2、filebeat输出的时候,配置output.compression为true,进行压缩,单位时间内传输的数据体积会减小

3、filebeat发送日志是批量,策略也是常见的,达到固定数量,或者达到一定时间批量发送,对应的参数是bulk_size和flush_interval

如果日志比较密集的话,size可以大点,interval适当小点,效率更高

4、filebeat的配置文件中,有一些模块是不需要用到的,可以给他禁用掉,不加载,节省资源

5、scan_frequency,指定filebeat多久检查一次文件系统的变化(新文件创建或修改),还是用极端分析法,扫描过于频繁,容易增加负载,但是如果日志文件变更较快,扫描不够频繁,容易造成采集延迟

这个要和另一个参数合起来一起看,close_inactive,指的是正在采集的日志文件,当内容不再更新后,等待多久讲打开的这个文件关闭,这个值要稍稍大于scan_frequency才行

posted @ 2024-06-25 17:46  鼠标的博客  阅读(71)  评论(0编辑  收藏  举报