dremio 官方对于软件版ha 以及扩展部署的参考方案
关于dremio 实际大规模部署的记录,内容来自官方文档
dremio 组件架构参考图
此图包含了dremio 的ha 以及扩展,包含了主备Coordinator(故障转移的) 提高查询性能的Coordinator,以及进行实际查询的执行器
此部署中依赖lb,共享存储(nfs 类的),zk (协调选举的),分布式存储(当然也可以使用共享存储,但是分布式存储更加方便些,主要是
hdfs,s3,nas 等)
扩展性部署架构
参考图,对于master 没有直接的http,odbc,jdbc 请求,反而是通过scale out 的Coordinator,这些节点与master 进行grpc 的请求
同时master 进行元数据的刷新,反射调度,这样系统的吞吐就可以达到很大的并发了
说明
以上只是简单的说明,实际环境中还是比较依赖主机资源的(cpu,内存,磁盘),所以最好监控,学好分析profile 日志就比较重要了
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)
2023-03-22 wails 基于golang 的跨平台开发解决方案
2023-03-22 dragonflydb 1.0 发布了
2023-03-22 jenkins jvm内存调整以及一些说明
2020-03-22 使用py-spy 分析python 应用的性能问题
2020-03-22 playwright 微软提供的基于nodejs包装多浏览器自动化测试包
2018-03-22 lapis docker 运行说明
2017-03-22 saas 系统租户个性化域名&&租户绑定自己域名的解决方案