摘要：就在最近dremio dbt 包升级到1.7了，兼容dbt -core 1.7 特性了，以前是基于1.5的 说明 dbt 新版本还是有不少新特性的，对于升级版本后边尝试试用下 参考资料 https://github.com/dremio/dbt-dremio/releases/tag/v1.7.0 阅读全文

摘要：dbt on_configuration_change 目前主要是在处理物化视图中，on_configuration_change 包含了三类设置 参考设置 apply 是默认参数，尝试进行更新存在的数据库对象 continue 允许继续运行，但是提供一个警告 fail 如果捕捉到变动就失败 参考使 阅读全文

摘要：dremio dbt 的集成我以前简单说过玩法，同时与nessie 的集成也有说明过（主要是关于配置以及简单使用的） 以下我说明下nessie 分支特性集成的一些可能玩法 nessie 分支简单说明 nessie 基于元数据的分支特性可以很好的辅助我们进行数据模型的开发，而且不需要多份数据，可以使用 阅读全文

摘要：在看dbt 关于get_replace_sql macro 的时候发现了一个relation 一些比较有意思的方法，以下简单说明下 dbt relation 类 dbt relation 包含了基类BaseRelation，InformationSchema 类以及各种基于BaseRelation 阅读全文

摘要：以前简单介绍过关于dbt show 的使用，以下简单说明下关于内部处理 参考实现 核心是show.py 中的ShowTask 参考代码 class ShowTask(CompileTask): # 进行判断参数必须包含select 或者inline def _runtime_initialize(s 阅读全文

摘要：我只结合adapter 包中对于global macro 一些扩展进行说明，还会有其他地方支持扩展的macro（比如自定义schema 的） 系统adapter 提供的几个扩展 dbt/adapters/sql/impl.py 中 几个参考定义 以下这几个是留给了具体adapter 实现进行扩展（有 阅读全文

摘要：dbt show 主要做以下事情 内部处理 编译基于sql 的model，test，analysis，或者执行基于--inline的sql ，当前不支持python模型 在dw 中执行查询 在终端中预览结果 备注： 默认limit 为5 ，但是可以自己调整通过--limit 参数，同时dbt sho 阅读全文

摘要：supercharged-dbt-docs 是dagster 基于dbt-docs 以及next.js 进行重写的dbt docs 解析以及渲染服务，加速速度很不错，官方有比较对于大型dbt项目加速速度比较慢的可以试用下 参考资料 https://github.com/dbt-labs/dbt-do 阅读全文

摘要：结合dbt-redshift 的对于dependencies 部分的定义以及使用简单说明下 参考代码 Plugin: AdapterPlugin = AdapterPlugin( adapter=RedshiftAdapter, # type: ignore credentials=Redshift 阅读全文

摘要：dbt 的schema 我们是可以灵活进行自定义的，可以实现一个比较有意思的事情 使用场景 模型级别的schema自定义 seed 数据schema自定义 不同env 或者vars 的schema 自定义 不同target schema 的自定义 schema 自定义 核心是generate_sch 阅读全文

摘要：dbt 的Relation 实际上就是包含关系数据库表，数据库，schema 一些信息的描述，dbt 官方提供了api.Relation.create 等操作 进行Relation 的维护，当然系统的builtins 也提供了一些基本的操作能力, 内部使用上会使用dbt BaseRelation 中 阅读全文

摘要：dbt docs generate 核心是获取dbt 项目的元数据信息（包含了project 的）以及相关table的（dbt 模型相关的），然后通过提供的解析页面进行显示 目前是基于静态处理的（先生成，然后基于纯web 的解析渲染）对于展示方法很多，可以基于dbt 的docs serve 命令也可 阅读全文

摘要：dbt-audit-helper 从字面意思是dbt 的审计帮助工具，但是实际上我们也可以使用此工具做一些数据质量相关的东西 dbt-audit-helper 提供的macro 比较数据输出 包含了compare_relations,compare_queries,compare_row_count 阅读全文

摘要：dbt Exposure 实际上就是给model，source，metrics 添加一个元数据标签，可以方便的在系统中展示，有利于模型依赖的可视化当然也有助于数据模型资产的分析 一个参考效果 如果不自己进行解析处理的话，主要体现在docs 界面上 参考资料 https://docs.getdbt.c 阅读全文

摘要：以前简单说明过dbt test block，属于一个自定义的扩展，同时也简单说明了一些使用，实际上dbt 的test 也是一个物化处理，支持物化的类型为test 参考manifest test 类型的定义 因为存在此定义，按照dbt 的处理会基于物化的规则来进行sql 生成处理 test 物化参考定 阅读全文

摘要：dbt 的模型以及macro 中实际上是可以引用一个context 变量的，此变量没有在文档中有说明，但是官方一些macro 中使用了此变量 参考使用 dbt 的snapshots strategies 处理中基于配置的strategy 查找对应的macro {% macro strategy_di 阅读全文

摘要：dbt 支持基于seed 的快速建模处理（比较适合测试环境使用），我们只需要提供csv 格式的文件，之后执行dbt seed 就会创建对应的模型，之后我们就可以在 dbt 模型中引用了，以下简单说明下内部实现以及处理 参考使用 seed 文件位置 一般我们会在dbt 项目的seed 目录中放对应的s 阅读全文

摘要：目前dbt 官方提供的几个web api 服务基本都废弃了，包含了dbt-server 以及dbt-rpc 如果需要自己包装web api 服务推荐的还是基于dbt core 提供的dbtRunner，具体在core/dbt/cli/main.py 中，可以参考学习 参考资料 https://git 阅读全文

摘要：dbt 物化模型是支持增量处理的，实际场景中基于增量的数据处理还是比较重要的，dbt 对于增量的处理会和一些因素有关系，比如数据大小， 可靠的unique_key 以及特定数据平台的支持incremental_strategy 策略可以对于特定adapter 支持配置 目前支持的增量策略 当然与实际 阅读全文

摘要：is_incremental macro 实际上就是一个判断，以下是实现的简单说明，官方文档也有说明 参考处理 逻辑 模型必须存在（数据库中），目的表也存在（数据库中），full-refresh 没有传递，模型配置了materialized='incremental' macro 实现 结合上边的逻 阅读全文