ELK架构设计
1、架构一
2、架构二
3、架构三
4、架构四
示例1:
示例二:
ELKB简述
E:Elasticsearch 是一个基于Lucene的分布式搜索和分析引擎,具有高可伸缩、高可靠和易管理等特点。支持对大容量的数据进行接近实时的存储、搜索和分析操作。
L:Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,过滤转换数据,然后存储到用户指定的位置供以后使用。
K:Kibana是一个数据分析和可视化平台。一般与 Elasticsearch 配合使用,对其中数据进行搜索、分析和图表方式展示;
B:Beats 集合了多种单一用途数据采集器,分别是:
Filebeat(搜集日志文件);它通过提供轻量级的方式来转发和集中日志和文件,从而帮助你简化简单事务。
Metricbeat(搜集指标数据);从你的系统和服务中收集指标,从CPU到内存,Redis到NGINX等等,Metricbeat是一种发送系统和服务统计信息的轻量级方式。
Packetbeat(搜集网络数据);处理网络数据相关。
Winlogbeat(搜集 Windows 事件日志数据);
Auditbeat(搜集审计数据);可帮助你审核系统上用户和流程的活动
Heartbeat(搜集运行监控数据):它可以帮助你通过主动探测来监控服务的可用性
这些采集器安装后可用作轻量型代理,从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。
5、硬件要求
推荐如下:
4核CPU
8G 内存
最低要求:
2核CPU
4G 内存
四、elasticsearch-head插件
参考:https://github.com/mobz/elasticsearch-head#running-with-built-in-server
Running with built in server #运行下面elasticsearch-head依赖npm包管理器 yum install npm –y #切换国内taobao的npm源,否则安装时会断开,导致这不成功。 [root@node-test src]# npm config set registry https://registry.npm.taobao.org [root@node-test src]# npm config get registry #安装elasticsearch-head cd /usr/local/ git clone git://github.com/mobz/elasticsearch-head.git cd elasticsearch-head #再安装 npm install npm run start open http://localhost:9100/