摘要：结合dbt-redshift 的对于dependencies 部分的定义以及使用简单说明下 参考代码 Plugin: AdapterPlugin = AdapterPlugin( adapter=RedshiftAdapter, # type: ignore credentials=Redshift 阅读全文

摘要：dbt 的schema 我们是可以灵活进行自定义的，可以实现一个比较有意思的事情 使用场景 模型级别的schema自定义 seed 数据schema自定义 不同env 或者vars 的schema 自定义 不同target schema 的自定义 schema 自定义 核心是generate_sch 阅读全文

摘要：dbt 的Relation 实际上就是包含关系数据库表，数据库，schema 一些信息的描述，dbt 官方提供了api.Relation.create 等操作 进行Relation 的维护，当然系统的builtins 也提供了一些基本的操作能力, 内部使用上会使用dbt BaseRelation 中 阅读全文

摘要：@lakehouse-rs/flight-sql-client 是基于rust 开发的node arrow flight sql client ，dremio 目前也是推荐基于arrow flight sql 的访问模式 参考代码 package.json { "name": "node-arrow 阅读全文

摘要：dbt docs generate 核心是获取dbt 项目的元数据信息（包含了project 的）以及相关table的（dbt 模型相关的），然后通过提供的解析页面进行显示 目前是基于静态处理的（先生成，然后基于纯web 的解析渲染）对于展示方法很多，可以基于dbt 的docs serve 命令也可 阅读全文

摘要：dbt-audit-helper 从字面意思是dbt 的审计帮助工具，但是实际上我们也可以使用此工具做一些数据质量相关的东西 dbt-audit-helper 提供的macro 比较数据输出 包含了compare_relations,compare_queries,compare_row_count 阅读全文

摘要：dremio 对于日志的配置支持基于系统属性以及环境变量的模式，对于环境变量实际上也是使用的系统属性 参考配置 系统属性 可以直接通过dremio-env 文件添加 -Ddremio.log.path=/opt/dremio/logs 环境变量 直接添加环境变量就可以了 DREMIO_LOG_DIR 阅读全文

摘要：dbt Exposure 实际上就是给model，source，metrics 添加一个元数据标签，可以方便的在系统中展示，有利于模型依赖的可视化当然也有助于数据模型资产的分析 一个参考效果 如果不自己进行解析处理的话，主要体现在docs 界面上 参考资料 https://docs.getdbt.c 阅读全文

摘要：最近在dremio 25.0 版本碰到了一些问题，以下说明下原因以及处理 问题现象 问题 实际上此问题是执行节点报的错误，并不是协调节点的，早期一直以为是协调节点的，结果通过分析调试发现是协调节点报的错误 The source [xxxx] is currently unavailable. Met 阅读全文

摘要：以前简单说明过dbt test block，属于一个自定义的扩展，同时也简单说明了一些使用，实际上dbt 的test 也是一个物化处理，支持物化的类型为test 参考manifest test 类型的定义 因为存在此定义，按照dbt 的处理会基于物化的规则来进行sql 生成处理 test 物化参考定 阅读全文

摘要：dbt 的模型以及macro 中实际上是可以引用一个context 变量的，此变量没有在文档中有说明，但是官方一些macro 中使用了此变量 参考使用 dbt 的snapshots strategies 处理中基于配置的strategy 查找对应的macro {% macro strategy_di 阅读全文

摘要：dbt 支持基于seed 的快速建模处理（比较适合测试环境使用），我们只需要提供csv 格式的文件，之后执行dbt seed 就会创建对应的模型，之后我们就可以在 dbt 模型中引用了，以下简单说明下内部实现以及处理 参考使用 seed 文件位置 一般我们会在dbt 项目的seed 目录中放对应的s 阅读全文

摘要：dremio 25.0 开始对于数据源的存储支持加密了，所以升级上稍有不同，官方给出的操作流程如下 参考处理 // 对于已经运行的，应该先stop，然后进行应用包的替换 dremio stop // 执行dremio-admin 的upgrade dremio-admin upgrade // 启动 阅读全文

摘要：以前也介绍过dremio 的datastore，目前软件版主要是基于rocksdb 的kv，对于创建会基于一个的集群角色使用不同的 dremio 实际包含了好几类的KVStoreProvider 参考KVStoreProvider实现子类 可以看到包含了local，remote，trace，noop 阅读全文

摘要：目前dbt 官方提供的几个web api 服务基本都废弃了，包含了dbt-server 以及dbt-rpc 如果需要自己包装web api 服务推荐的还是基于dbt core 提供的dbtRunner，具体在core/dbt/cli/main.py 中，可以参考学习 参考资料 https://git 阅读全文

摘要：dbt 物化模型是支持增量处理的，实际场景中基于增量的数据处理还是比较重要的，dbt 对于增量的处理会和一些因素有关系，比如数据大小， 可靠的unique_key 以及特定数据平台的支持incremental_strategy 策略可以对于特定adapter 支持配置 目前支持的增量策略 当然与实际 阅读全文

摘要：is_incremental macro 实际上就是一个判断，以下是实现的简单说明，官方文档也有说明 参考处理 逻辑 模型必须存在（数据库中），目的表也存在（数据库中），full-refresh 没有传递，模型配置了materialized='incremental' macro 实现 结合上边的逻 阅读全文

摘要：dbt 的test block实际上是一个jinja2 的扩展，目前主要是test 场景中使用, 此block的实现处理与标准物化的处理是类似的都是jinja2 的扩展 test macro 的创建 按照当前dbt 的版本是分为两中模式，对于tests 路径是可以配置的，包含了tests/gener 阅读全文

摘要：就在最近nginx 发布了1.25.5 有一些特性比较有意思 新特性 stream 支持虚拟主机了 比较有意思的功能，结合sni 可以做一些很有意思的事情 一个新的模块ngx_stream_pass_module 与proxy_pass 类似，目前主要是proxy 到ip port （域名以及类似u 阅读全文

摘要：dbt exceptions 实际属于一个namespace 变量可以进行一些代码可控的异常处理以及raise 以及warn 参考使用 raise_compiler_error 使用 {% if number < 0 or number > 100 %} {{ exceptions.raise_co 阅读全文