elk 流程图

ELK流程图

单纯使用ElK实现分布式日志收集缺点：

1、logstash太多了，扩展不好。

2、读取IO文件，可能会产生日志丢失

3、不是实时性

这时候就需要引入 kafka。

kafka基于主题模式(topic),支持发布与订阅，kakfa自带解决分布式事务、最终一致性问题、补偿、重试，也可以缓存日志消息，整个过程是实时的。

Logstash输入来源有那些？

本地文件、kafka、数据库、mongdb、redis。

ELK+Kafka 流程图