ELK 和 Filebeat

ELK 是elastic公司提供的一套完整的日志收集、展示解决方案，是三个产品的首字母缩写，分别是ElasticSearch、Logstash 和 Kibana：

• ElasticSearch简称ES，由Java 语言编写，它是一个建立在全文搜索引擎Apache Lucene基础上的、实时的、分布式的搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析；
• Logstash是一个具有实时传输能力的数据收集引擎，用来进行数据收集（如：读取文本文件）、解析，并将数据发送给ES；
• Kibana为Elasticsearch提供了分析和可视化的Web平台。它可以在Elasticsearch的索引中查找，交互数据，并生成各种维度表格、图形；

Beats 平台集合了多种单一用途数据采集器，这些采集器安装后可用作轻量型代理，从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据；Filebeat 用于日志文件采集；各个服务所在的服务器上分别部署。

• 如果filebeat直接传输给es，就会占用掉es的大量资源。应该让es专注于数据查询和处理，让数据发给logstash，以此作一层缓冲；
• logstash有多种过滤器可以使用，通过logstash做一些过滤，可以过滤掉无效的日志；