elk 使用中遇到的问题(kafka 重复消费)

问题描述:

  在使用过程中,当遇到大量报错的时候,我们到eagle后台看到报错的那个consumer的消费情况到到lag 远远大于0(正常情况应该为0),activie  节点没有,kibana面板上没有数据。

因为我们报警使用的是logstash 的email 插件,这里猜测是因为大量的报错,导致email 处理不过来,然后消费进程堵在了email 这里,所以管道堵塞,导致无法消费,所以这里的解决方案是

把logstash 的 email 换成  elastialert

posted @ 2018-07-30 10:51  BigBao的博客  阅读(1161)  评论(0编辑  收藏  举报