dremio dbt adapter 一些简单说明

dbt-dremio 是dremio 官方维护的dbt adapter ，目前还在持续迭代中

官方参考玩法

实际上核心是基于dbt +dremio 进行模型的创建

内部集成玩法

对于我们实际运行是需要对象存储服务的（比如使用minio），对象存储做为实际数据的物理存储，同时会使用apache icerberg 表存储格式
对于模型是存储在我们的space 中的

• 参考profile 定义

 

dremio:

  outputs:

    dev:

      password:  <password>

      port: <port using http default 9047> 

      software_host: <endpoint>

      object_storage_source:  <dremio s3 source  >

      object_storage_path:  <s3 bucket>

      dremio_space:   <dremio space >

      threads: 3

      type: dremio

      use_ssl: false

      user:  <user>

  target: dev

• 实际参考玩法

• 参考效果

s3数据源存储的数据

space 中存储的模型

 

模型的sql （一个简单示例）

说明

以上是一个简单说明，dremio 对于dbt 的集成是使用了http 接口，同时数据都是要落到s3 中的（也可以是其他可以写入的数据源），dbt 支持的一些profile 配置,同时官方也提供了一个简单的使用视频可以参考

参考资料

https://github.com/dremio/dbt-dremio
https://www.dremio.com/blog/announcing-dremios-partnership-with-dbt-labs/
https://www.dremio.com/wp-content/uploads/2022/10/Preview_dbt_Dremio_adaptor.mp4