dremio dbt adapter 一些简单说明
dbt-dremio 是dremio 官方维护的dbt adapter ,目前还在持续迭代中
官方参考玩法
实际上核心是基于dbt +dremio 进行模型的创建
内部集成玩法
对于我们实际运行是需要对象存储服务的(比如使用minio),对象存储做为实际数据的物理存储,同时会使用apache icerberg 表存储格式
对于模型是存储在我们的space 中的
- 参考profile 定义
dremio:
outputs:
dev:
password: <password>
port: <port using http default 9047>
software_host: <endpoint>
object_storage_source: <dremio s3 source >
object_storage_path: <s3 bucket>
dremio_space: <dremio space >
threads: 3
type: dremio
use_ssl: false
user: <user>
target: dev
- 实际参考玩法
- 参考效果
s3数据源存储的数据
space 中存储的模型
模型的sql (一个简单示例)
说明
以上是一个简单说明,dremio 对于dbt 的集成是使用了http 接口,同时数据都是要落到s3 中的(也可以是其他可以写入的数据源),dbt 支持的一些profile 配置,同时官方也提供了一个简单的使用视频可以参考
参考资料
https://github.com/dremio/dbt-dremio
https://www.dremio.com/blog/announcing-dremios-partnership-with-dbt-labs/
https://www.dremio.com/wp-content/uploads/2022/10/Preview_dbt_Dremio_adaptor.mp4