filebeat 采集文件报错:dropping too large message of size
背景公司使用的ELK进行日志采集、聚合
业务机器采用filebeat 进行的日志采集。
会有概率出现 ropping too large message of size 1171026
具体原因就是kafka 对每一条消息的大小进行了限制。
默认是1000000 字节,我们从错误中可以看出,当前字节大于这个值,需要做进一步的调整
首先从kafka 配置侧
设置
message.max.bytes 默认 1000000,这里可以调成10000000(10MB)
replica.fetch.max.bytes 默认1MB ,这里最少设置成一致 10MB
同时filebeat 也需要进行设置
output.kafka:
max_message_bytes: 10000000
重启kafka和filebeat使配置生效,这样就可以找到那条万恶(为什么万恶?因为会影响kafka 的性能)的大大大大日志。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· DeepSeek “源神”启动!「GitHub 热点速览」
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 我与微信审核的“相爱相杀”看个人小程序副业
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· DeepSeek R1 简明指南:架构、训练、本地部署及硬件要求