企业级ELK架构服务器配置
一、架构图
本图为公司ELK架构：
结构介绍：
- Filebeat
日志采集器，部署在需要收集日志的服务器上，将收集到的数据发送到Kafka消息队列
- Kafka
消息队列，避免大量的数据写入ES集群，给ES集群带来压力，用Kafka做解耦，做异步处理，降低ES集群压力
- Logstash
从Kafka读取数据，写入到ES集群
- Elasticsearch
数据检索查询
- Kibana
图形化界面，方便展示
二、服务器配置清单
2.1 当前数据量
截止2020年10月10日期，整个Elasticsearch集群数量量为 3.2TB大小
Kafka使用了900GB
2.2 各服务器配置清单
| 服务器名称 | 操作系统 | CPU | 内存 | 数据盘 | 备注 |
| elasticsearch-01 | Ubuntu 16.04.3 LTS | 8 | 16GB | 6TB | |
| elasticsearch-02 | Ubuntu 16.04.3 LTS | 8 | 16GB | 6TB | |
| elasticsearch-03 | Ubuntu 16.04.3 LTS | 8 | 16GB | 6TB | |
| logstash | Ubuntu 16.04.3 LTS | 8 | 16GB | 500GB | |
| kibana | Ubuntu 16.04.3 LTS | 8 | 16GB | 500GB | |
| kafka | Ubuntu 16.04.3 LTS | 8 | 16GB | 2TB | |
| kafka | Ubuntu 16.04.3 LTS | 8 | 16GB | 2TB | |
| kafka | Ubuntu 16.04.3 LTS | 8 | 16GB | 2TB | |
