摘要: 说一说你们公司ES的集群架构、数据规模以及调优手段 比如:ES集群架构13个节点,索引根据业务不同共20+索引,根据日期,每日递增20+,索引:10分片,每日递增1亿+数据, 每个业务每天索引大小控制:500GB之内。 设计阶段调优 1)根据业务增量需求,采取基于日期模板创建索引,通过roll ov 阅读全文
posted @ 2020-12-30 17:17 仓皇 阅读(284) 评论(0) 推荐(0) 编辑
摘要: ● 系统环境说明 Linux环境:centos 7.2 腾讯云ES Service:7.5.1 Java:1.8.0_181 ● 集群配置 32核64GB, 3个(主节点) 50GB 高性能云盘 x1 32核64GB, 12个(数据节点) 6000GB SSD云硬盘 x2 问题异常: ES cros 阅读全文
posted @ 2020-12-29 19:18 仓皇 阅读(715) 评论(0) 推荐(0) 编辑
摘要: ● 系统环境说明 Linux环境:centos 7.2 腾讯云ES Service:7.5.1 Java:1.8.0_181 ● 集群配置 32核64GB, 3个(数据节点) 1000GB SSD云硬盘 x1 问题异常: 节点之间磁盘空间使用率不均,个别节点磁盘被写满,分片无法分配。 问题原因 由于 阅读全文
posted @ 2020-12-29 19:06 仓皇 阅读(1135) 评论(0) 推荐(0) 编辑
摘要: ● 系统环境说明 Linux环境:centos 7.2 腾讯云ES Service:7.5.1 Java:1.8.0_181 ● 集群配置 2核4GB, 2个(数据节点) 500GB SSD云硬盘 x2 问题异常: 1.集群节点反复上线下,极其频繁; 2.日志报错: java.nio.file.Fi 阅读全文
posted @ 2020-12-29 18:54 仓皇 阅读(136) 评论(0) 推荐(0) 编辑
摘要: ● 系统环境说明 Linux环境:centos 7.2 腾讯云ES Service:7.5.1 Java:1.8.0_181 ● 集群配置 32核64GB, 3个(主节点) 50GB 高性能云盘 x1 32核64GB, 12个(数据节点) 6000GB SSD云硬盘 x2 问题: 集群在某一时间段时 阅读全文
posted @ 2020-12-29 18:38 仓皇 阅读(532) 评论(0) 推荐(0) 编辑
摘要: ● 系统环境说明 Linux环境:centos 7.2 腾讯云ES Service:7.5.1 Java:1.8.0_181 ● 集群配置 32核64GB, 3个(主节点) 50GB 高性能云盘 x1 32核64GB, 12个(数据节点) 6000GB SSD云硬盘 x2 问题异常: plugin: 阅读全文
posted @ 2020-12-29 18:32 仓皇 阅读(449) 评论(0) 推荐(0) 编辑
摘要: ● 系统环境说明 Linux环境:centos 7.2 腾讯云ES Service:7.5.1 Java:1.8.0_181 ● 集群配置 32核64GB, 3个(主节点) 50GB 高性能云盘 x1 32核64GB, 12个(数据节点) 6000GB SSD云硬盘 x2 问题 ES查询直方图数据, 阅读全文
posted @ 2020-12-29 18:14 仓皇 阅读(616) 评论(0) 推荐(0) 编辑
摘要: ● 系统环境说明 Linux环境:centos7.4 EMR:3.0.0 Java:1.8.0_112 ● 集群配置 机器数量:50 内存:128G 硬盘:100T CPU核心数:32C 问题 SQL中使用了LEFT JOIN,在执行过程中遇到以下报错: java.lang.RuntimeExcep 阅读全文
posted @ 2020-07-16 23:35 仓皇 阅读(1248) 评论(0) 推荐(2) 编辑
摘要: ● 系统环境说明 Linux环境:centos7.4 CDH:5.16.1 Java:1.8.0_131 LDAP版本:2.4.44 Sentry版本:1.5.1 ● 集群配置 机器数量:50 内存:64G 硬盘:4T CPU核心数:32 关于Ldap的方案,此处就不再赘述,参考我的另一篇文章: L 阅读全文
posted @ 2020-06-12 11:10 仓皇 阅读(3111) 评论(0) 推荐(0) 编辑
摘要: ● 系统环境说明 Linux环境:centos7.4 CDH:5.16.1 Java:1.8.0_131 Sentry版本:1.5.1 ● 集群配置 机器数量:50 内存:64G 硬盘:4T CPU核心数:32 安装sentry 在主页,单击群集名称右侧的, 点击“添加服务”; 选择Sentry,点 阅读全文
posted @ 2020-06-12 10:02 仓皇 阅读(1591) 评论(0) 推荐(0) 编辑