filebeat 采集文件报错：dropping too large message of size

背景公司使用的ELK进行日志采集、聚合

业务机器采用filebeat 进行的日志采集。

会有概率出现 ropping too large message of size 1171026 

具体原因就是kafka  对每一条消息的大小进行了限制。

默认是1000000 字节，我们从错误中可以看出，当前字节大于这个值，需要做进一步的调整

首先从kafka 配置侧

设置

message.max.bytes 默认 1000000，这里可以调成10000000（10MB）

replica.fetch.max.bytes 默认1MB ，这里最少设置成一致 10MB

同时filebeat 也需要进行设置

output.kafka:

     max_message_bytes: 10000000

 

重启kafka和filebeat使配置生效，这样就可以找到那条万恶（为什么万恶？因为会影响kafka 的性能）的大大大大日志。