2024年5月1日

dbt 自定义AdapterPlugin 中dependencies 简单说明

摘要: 结合dbt-redshift 的对于dependencies 部分的定义以及使用简单说明下 参考代码 Plugin: AdapterPlugin = AdapterPlugin( adapter=RedshiftAdapter, # type: ignore credentials=Redshift 阅读全文

posted @ 2024-05-01 08:39 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

dbt 自定义schema 简单说明

摘要: dbt 的schema 我们是可以灵活进行自定义的,可以实现一个比较有意思的事情 使用场景 模型级别的schema自定义 seed 数据schema自定义 不同env 或者vars 的schema 自定义 不同target schema 的自定义 schema 自定义 核心是generate_sch 阅读全文

posted @ 2024-05-01 08:38 荣锋亮 阅读(45) 评论(0) 推荐(0) 编辑

dbt Relation 扩展简单说明

摘要: dbt 的Relation 实际上就是包含关系数据库表,数据库,schema 一些信息的描述,dbt 官方提供了api.Relation.create 等操作 进行Relation 的维护,当然系统的builtins 也提供了一些基本的操作能力, 内部使用上会使用dbt BaseRelation 中 阅读全文

posted @ 2024-05-01 08:37 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

使用@lakehouse-rs/flight-sql-client nodejs api 快速访问dremio 服务

摘要: @lakehouse-rs/flight-sql-client 是基于rust 开发的node arrow flight sql client ,dremio 目前也是推荐基于arrow flight sql 的访问模式 参考代码 package.json { "name": "node-arrow 阅读全文

posted @ 2024-05-01 08:37 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

dbt docs generate 简单说明

摘要: dbt docs generate 核心是获取dbt 项目的元数据信息(包含了project 的)以及相关table的(dbt 模型相关的),然后通过提供的解析页面进行显示 目前是基于静态处理的(先生成,然后基于纯web 的解析渲染)对于展示方法很多,可以基于dbt 的docs serve 命令也可 阅读全文

posted @ 2024-05-01 07:35 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

导航