dremio 官方对于软件版ha 以及扩展部署的参考方案

关于dremio 实际大规模部署的记录,内容来自官方文档

dremio 组件架构参考图

此图包含了dremio 的ha 以及扩展,包含了主备Coordinator(故障转移的) 提高查询性能的Coordinator,以及进行实际查询的执行器
此部署中依赖lb,共享存储(nfs 类的),zk (协调选举的),分布式存储(当然也可以使用共享存储,但是分布式存储更加方便些,主要是
hdfs,s3,nas 等)

扩展性部署架构

参考图,对于master 没有直接的http,odbc,jdbc 请求,反而是通过scale out 的Coordinator,这些节点与master 进行grpc 的请求
同时master 进行元数据的刷新,反射调度,这样系统的吞吐就可以达到很大的并发了

说明

以上只是简单的说明,实际环境中还是比较依赖主机资源的(cpu,内存,磁盘),所以最好监控,学好分析profile 日志就比较重要了

posted on   荣锋亮  阅读(33)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)
历史上的今天:
2023-03-22 wails 基于golang 的跨平台开发解决方案
2023-03-22 dragonflydb 1.0 发布了
2023-03-22 jenkins jvm内存调整以及一些说明
2020-03-22 使用py-spy 分析python 应用的性能问题
2020-03-22 playwright 微软提供的基于nodejs包装多浏览器自动化测试包
2018-03-22 lapis docker 运行说明
2017-03-22 saas 系统租户个性化域名&&租户绑定自己域名的解决方案

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示