Elastic Stack基础
Elastic Stack 组件介绍
Elasticsearch
Elasticsearch是使用java开发,基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等
Logstash
Logstash基于java开发,是一个数据抽取转化工具。一般工作方式为c/s架构,client端安装在需要收集信息的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch或其他组件上去。
Kibana
Kibana基于nodejs,也是一个开源和免费的可视化工具。Kibana可以为Logstash和ElasticSearch提供的日志分析友好的Web界面,可以汇总、分析和 搜索重要数据日志
Beats
Beats平台集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向Logstash或Elasticsearch发送数据。
Beats由如下组成:
Packetbeat:轻量型网络数据采集器,用于深挖网线上传输的数据,了解应用程序动态。Packetbeat是一款轻量型网络数据包分析器,能够将数据发送至Logstash或 Elasticsearch。
Filebeat:轻量型日志采集器。当您要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时,请告别SSH吧。Filebeat将为您提供一种轻量型方法,用于转发和汇总日志与文件,让简单的事情不再繁杂。
Metricbeat:轻量型指标采集器。Metricbeat能够以一种轻量型的方式,输送各种系统和服务统计数据,CPU、内存,从Redis到Nginx,不一而足。可定期获取外部系统的监控指标信息,其可以监控、收集Apachehttp、HAProxy、 MongoDB、 MySQL、 Nginx、 PostgreSQL、 Redis、 System、Zookeeper等服务。
Winlogbeat:轻量型Windows事件日志采集器。用于密切监控基于Windows的基础设施上发生的事件。Winlogbeat能够以一种轻量型的方式,将Windows事件日志实时地流式传输至 Elasticsearch和 Logstash。
Auditbeat:轻量型审计日志采集器。收集您Linux审计框架的数据,监控文件完整性。Auditbeat实时采集这些事件,然后发送到ElasticStack其他部分做进一步分析。
Heartbeat:面向运行状态监测的轻量型采集器。通过主动探测来监测服务的可用性。通过给定URL列表,Heartbeat仅仅询问:网站运行正常吗? Heartbeat会将此信息和响应时间发送至Elastic的其他部分,以进行进一步分析。
Functionbeat:面向云端数据的无服务器采集器。在作为一项功能部署在云服务提供商的功能即服务(FaaS)平台上后,Functionbeat即能收集、传送并监测来自您的云服务的相关数据。