dremio+nessie+dbt+ cube.js 实现简单数据服务

以前我简单写过关于dremio与cube.js 集成的,随着dremio 官方自己维护了一个dbt 的adapter 以及nessie 方便的类似
git 的多版本元数据服务的提供,将这几个集成在一起是一个很不错的选择,尤其是希望实现自己的headless bi 服务,同时
利用dbt 强大的数据建模能力,可以实现数据模型开发的工程化,dbt 提供了一个MetricFlow 但是缺少查询执行能力(开源版)
基于cube.js 的语义层能力,可以方便的实现数据服务

参考图

玩法说明

包含了一个算是比较完整的集成玩法,从基于git 的dbt 模型开发,然后是集成nessie 做为元数据存储,我么开发的数据模型可以直接存储在
nessie中,对于生成的语义层模型(存储在dremio 中),我们可以开发相关的数据服务,比如直接基于jdbc,rest 的数据服务,以及直接使用cube.js 实现的headless bi 可以实现比较灵活的数据开发,对于模型的变动可以基于dbt 的调试利用git 管理实现工程化,当然因为基于了nessie 的元数据存储服务,我们也可以实现方便的历史以及变动管理,同时数据质量部分也是可以基于dbt 辅助解决的

说明

以上是一个简单的集成说明,实际上集成起来也比较简单,对于希望实现一个相对标准的数据服务的可以参考

参考资料

https://cube.dev/use-cases/semantic-layer
https://www.dremio.com/
https://docs.dremio.com/current/sonar/client-applications/clients/dbt/

posted on   荣锋亮  阅读(103)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)
历史上的今天:
2023-01-11 dremio FragmentStarter 简单说明
2023-01-11 dremio PhysicalPlanReader 简单说明
2019-01-11 sqler sql 转rest api 的docker 镜像构建(续)使用源码编译
2019-01-11 sqler sql 转rest api javascript 试用
2019-01-11 sqler sql 转rest api redis 接口使用
2019-01-11 sqler sql 转rest api 的docker image
2018-01-11 sentry docker-compsoe 安装以及简单使用

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示