如何完成 Doris 集群配置及验证
转载自:https://kb.fit2cloud.com/?p=4d7fbe3a-6050-4f2b-88fe-a9d274359dc3
引言
Doris 在 Local 模式和 Cluster 模式下 DataEase 的安装中扮演着重要的角色,存放着 DataEase 中定时同步的数据集,是 DataEase 自身的数据仓库。
Doris 集群模式介绍
高性能:Doris采用列式存储,支持高效的数据压缩和向量化计算,能够快速处理大规模数据。
可扩展性:Doris支持水平扩展,可以通过添加节点来增加集群容量和吞吐量。
高可用性:Doris具有自动故障转移和数据复制功能,能够保证系统的高可用性和数据安全性。
易用性:Doris提供了易于使用的SQL接口和可视化管理界面,方便用户进行数据查询和管理。
如图所示,1 fe、3 be 是 doris 集群最简易的一个场景。
Doris 集群的验证
前提条件:Doris 为1 fe,3 be 的集群模式
1 部署完 doris-fe 和 3台 doris-be后,进入 fe 节点添加 be 节点。
ALTER SYSTEM ADD BACKEND '10.1.12.65:9050';
ALTER SYSTEM ADD BACKEND '10.1.12.68:9050';
ALTER SYSTEM ADD BACKEND '10.1.12.69:9050';
2 添加完成后,通过命令来查看 be 各节点状态,
show proc '/backends';
3 如下图所示,3个 be 节点的 Alive 均为 true 且 ErrMsg 为空,说明3个 be 节点均添加到 fe 中且状态均正常。
DataEase 中 Doris 集群的使用
DataEase 设置引擎,进入【系统管理】页面,点击左侧的【系统参数】,在 Tab 页中选择【引擎设置】,将 Doris FE 节点的相关信息填入并保存。同时需要注意,这边需要设置副本数量为3,和 be 节点数保持一致。
常见问题:
1 系统管理-系统参数-引擎设置,若配置副本数量为1
这个时候通过定时同步创建出来的数据集,从 doris-fe 中可以查到这样的创建语句,可以观察到 replication_allocation 的值为1
以此为前提,假定存放的数据在 be1 上,如果 be1 挂了,此时,数据集那边就会有如下报错。
2 系统管理-系统参数-引擎设置,若配置副本数量为3
和上面相似的,可以观察到 replication_allocation 的值为3
以此为前提,如果某一台 be 挂了,此时数据集那边显示依旧正常;但若进行数据同步,会有如下报错。