dremio 官方对于软件版ha 以及扩展部署的参考方案

关于dremio 实际大规模部署的记录,内容来自官方文档

dremio 组件架构参考图

此图包含了dremio 的ha 以及扩展,包含了主备Coordinator(故障转移的) 提高查询性能的Coordinator,以及进行实际查询的执行器
此部署中依赖lb,共享存储(nfs 类的),zk (协调选举的),分布式存储(当然也可以使用共享存储,但是分布式存储更加方便些,主要是
hdfs,s3,nas 等)

扩展性部署架构

参考图,对于master 没有直接的http,odbc,jdbc 请求,反而是通过scale out 的Coordinator,这些节点与master 进行grpc 的请求
同时master 进行元数据的刷新,反射调度,这样系统的吞吐就可以达到很大的并发了

说明

以上只是简单的说明,实际环境中还是比较依赖主机资源的(cpu,内存,磁盘),所以最好监控,学好分析profile 日志就比较重要了

posted on 2024-03-22 09:28  荣锋亮  阅读(15)  评论(0编辑  收藏  举报

导航