ELK简介

ELK简介

ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称，由这三个软件及其相关的组件可以打造大规模日志实时处理系统。

其中，Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎，主要负责将日志索引并存储起来，方便业务方检索查询。

Logstash是一个日志收集、过滤、转发的中间件，主要负责将各条业务线的各类日志统一收集、过滤后，转发给 Elasticsearch 进行下一步处理。

Kibana是一个可视化工具，主要负责查询 Elasticsearch 的数据并以可视化的方式展现给业务方，比如各类饼图、直方图、区域图等。

Elastic Stack平台架构图

上图是ELK Stack的架构图，其中:

Filebeat：部署在具体的业务机器上，通过定时监控的方式获取增量的日志，并转发到Redis消息系统暂存。

Redis：作为一个消息系统的角色，接收从Filebeat收集转发过来的日志，通常以集群的形式提供服务。

Logstash：然后，Logstash从Redis中获取日志，并通过Input-Filter-Output三个阶段的处理，更改或过滤日志，最终输出我们感兴趣的数据。

Elasticsearch：最后，Elasticsearch存储并索引Logstash转发过来的数据，并通过Kibana查询和可视化展示，达到实时分析日志的目的。

Elasticsearch/Kibana还可以通过安装x-pack插件实现扩展功能，比如监控Elasticsearch集群状态、数据访问授权等