filebeat每次有新事件会将上一次的事件重新发送,该如何避免?
场景:每次给日志文件插入新数据,会造成filebeat会将所有数据在发送一次
感觉就跟data/registry失效了一样
尝试解决:
1.logstash 和 Filebeat 的日志,有没有链接超时或者网络断开的异常
2.Filebeat 日志发给 logstash,但是没有收到 ack 确认消息,Filebeat 会重试的。超时时间或可调大点
最终原因:是因为自己搭建测试环境,所有的日志文件都是通过vim新增
filebeat试图根据元数据来检测文件是否是新的。一些工具/编辑创建一个全新的文件保存并取消旧链接。这被filebeat检测为新文件,迫使它重新发送所有内容。
建议使用命令新增日志
echo "2017-10-20 11:23:07,430 [02EC8082-1837-42E3] [ERROR] [RestExceptionHandler.java:58] UBGBUGBUG" >> /var/log/tmp.log
发现会有不少新手,会犯这样的错误,共勉
机会往往留给有准备的人!