故障排查:

1. 查看kafka、logstash、elasticsearch进程是否运行正常,显示正常。

2. 使用logstash在前台运行,有日志输出

3. 查看kafka的topic的offset,发现offset停止不动

原因分析: 日志量过大,导致kafka堵塞。

解决方法:增加kafka节点和最大化kafka性能

 

如果还没有日志,那还有可能是logstash这里有瓶颈

解决方法:日志拆分为多个topic,运行多个logstash实例来处理日志。

在执行了上面的操作后,还是发现没有数据,这是因为kafka还缓存中旧的数据,所以需要把旧数据先删除:

在kafka上面执行:

/data/elk/kafka/bin/kafka-topics.sh --delete --zookeeper 127.0.0.1 --topic web-hkgf-proxy-nginx-log      #删除topic  kafka配置文件中 delete.topic.enable=true必须为true

rm -rf /data/logs/kafka-log/web-hkgf*          #删除日志文件

再次查看topic内容:/data/elk/kafka/bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic  web-hkgf-proxy-nginx-log --from-beginning

注意观察日志的时间戳,如果是当前时间,那就说明删除成功。

现在保证kafka里的数据是最新数据了,我们还需要重启下logstash,防止logstash处于僵死状态。