filebeat使用multiline丢失数据问题
最近部署filebeat采集日志。
发现配置multiline后,日志偶尔会丢失数据,而且采集到的数据长度都不相同,所以和日志长度没有关系。
查阅filebeat官网后,找到了问题。filebeat有个配置max_lines,默认值为500。查看了我们的日志文件,发现需要合并的日志行数超过了500行。
max_lines The maximum number of lines that can be combined into one event. <br> If the multiline message contains more than max_lines, any additional lines are discarded. The default is 500.
增加该配置后,解决multiline丢失数据问题。
multiline.max_lines: 10000