es 集群配置推荐
- es集群配置
1、集群配置
es三个节点,每个节点的配置都是 8核cpu 64G内存 8T硬盘
每天的日志量100G,三个分片。
这样的配置可以保留90天的日志
集群有 3 个节点,每个节点 8TB 硬盘,整个集群的存储总容量为:8TB × 3 = 24TB 总存储空间
2、日志数据量
每天的日志量:100GB
每个索引的分片数:3 个主分片,每个分片处理的数据量大约是 33.33GB。
副本数:假设副本数为 1,即每个主分片有一个副本,因此需要将存储需求翻倍。
3、计算数据保留时间
总存储需求(副本含数据):每天 100GB 的日志数据,每天存储的数据量是:100GB × 2 = 200GB(包含副本)
集群可以存储的天数:
集群总存储容量是 24TB(24,000GB)。
每天需要 200GB 存储,因此可以存储的天数是:24,000GB ÷ 200GB = 120 天
4、总结
在 3 个节点,每个节点 8TB 硬盘 的情况下,如果每天的日志量为 100GB,且设置了 3 个主分片 和 副本数为 1,Elasticsearch 集群能够存储约 120 天 的日志数据。
实际只保留90天的数据,100(日志大小) * 2(主分片+副本分片) * 90(保留天数) / 240000(磁盘总大小) = 75%(磁盘利用率)
分类:
elasticsearch
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 别再用vector<bool>了!Google高级工程师:这可能是STL最大的设计失误
· 单元测试从入门到精通