摘要：dremio dbt 的集成我以前简单说过玩法，同时与nessie 的集成也有说明过（主要是关于配置以及简单使用的） 以下我说明下nessie 分支特性集成的一些可能玩法 nessie 分支简单说明 nessie 基于元数据的分支特性可以很好的辅助我们进行数据模型的开发，而且不需要多份数据，可以使用 阅读全文

摘要：AuthProvider 是在authenticator 模块中提供的接口定义，目前实现包括了LocalUsernamePasswordAuthProvider以及DremioAccessTokenAuthProviderLocalUsernamePasswordAuthProvider 是目前社区 阅读全文

摘要：在看dbt 关于get_replace_sql macro 的时候发现了一个relation 一些比较有意思的方法，以下简单说明下 dbt relation 类 dbt relation 包含了基类BaseRelation，InformationSchema 类以及各种基于BaseRelation 阅读全文

摘要：git-commit-id maven-plugin 是一个比较有意思的插件，可以提供一些git 详细相关的元数据信息到jar 包中，这样有利于我们分析 业务问题（里边包含了git commitid，分支，提交人，提交日志等信息），以下是一个简单试用 项目准备 一个多模块项目 父pom.xml <? 阅读全文

摘要：以前是简单说明过dremio 的UserService ，dremio 实际上支持内部以及外部用户的玩法 类图 可以看到，包含了simple 以及executor 两个，同时实现了UserServiceEvents 支持发布订阅能力的接口（订阅是25.0 版本的） executor 的实现实际上是为 阅读全文

摘要：cryostat 属于一个jfr 管理工具，由红帽团队开发，可以用来安全的管理容器环境中的jfr 处理 包含的工具 operator 可以方便的集成到k8s，openshift 中 agent 可以实现cryostat 发现以及jfr 数据的推送 grafana datasource 支持 数据gr 阅读全文

摘要：dremio 对于数据集自动提升可以通过ui，也可以通过sql，当然rest api 也是可以的，目前sql 使用起来相对简单，但是缺少一些配置参数 sql 模式参考命令 // 当前推荐的模式 ALTER TABLE s3.dalong.demo REFRESH METADATA AUTO PROM 阅读全文

摘要：以前简单介绍过关于dbt show 的使用，以下简单说明下关于内部处理 参考实现 核心是show.py 中的ShowTask 参考代码 class ShowTask(CompileTask): # 进行判断参数必须包含select 或者inline def _runtime_initialize(s 阅读全文

摘要：我只结合adapter 包中对于global macro 一些扩展进行说明，还会有其他地方支持扩展的macro（比如自定义schema 的） 系统adapter 提供的几个扩展 dbt/adapters/sql/impl.py 中 几个参考定义 以下这几个是留给了具体adapter 实现进行扩展（有 阅读全文

摘要：dbt show 主要做以下事情 内部处理 编译基于sql 的model，test，analysis，或者执行基于--inline的sql ，当前不支持python模型 在dw 中执行查询 在终端中预览结果 备注： 默认limit 为5 ，但是可以自己调整通过--limit 参数，同时dbt sho 阅读全文

摘要：实际上属于dremio 社区一个问题，内部实际上是dremio 对于格式化插件支持的问题, 不少是基于文件格式硬编码的，尽管 我们可以自定义格式化插件，但是对于已经支持的就有点不是很方便了，可以直接复用现有的，以下说明下修改以及处理 直接修改JSONFormatPlugin 代码支持jsonl 参考 阅读全文

摘要：supercharged-dbt-docs 是dagster 基于dbt-docs 以及next.js 进行重写的dbt docs 解析以及渲染服务，加速速度很不错，官方有比较对于大型dbt项目加速速度比较慢的可以试用下 参考资料 https://github.com/dbt-labs/dbt-do 阅读全文

摘要：结合dbt-redshift 的对于dependencies 部分的定义以及使用简单说明下 参考代码 Plugin: AdapterPlugin = AdapterPlugin( adapter=RedshiftAdapter, # type: ignore credentials=Redshift 阅读全文

摘要：dbt 的schema 我们是可以灵活进行自定义的，可以实现一个比较有意思的事情 使用场景 模型级别的schema自定义 seed 数据schema自定义 不同env 或者vars 的schema 自定义 不同target schema 的自定义 schema 自定义 核心是generate_sch 阅读全文

摘要：dbt 的Relation 实际上就是包含关系数据库表，数据库，schema 一些信息的描述，dbt 官方提供了api.Relation.create 等操作 进行Relation 的维护，当然系统的builtins 也提供了一些基本的操作能力, 内部使用上会使用dbt BaseRelation 中 阅读全文

摘要：@lakehouse-rs/flight-sql-client 是基于rust 开发的node arrow flight sql client ，dremio 目前也是推荐基于arrow flight sql 的访问模式 参考代码 package.json { "name": "node-arrow 阅读全文

摘要：dbt docs generate 核心是获取dbt 项目的元数据信息（包含了project 的）以及相关table的（dbt 模型相关的），然后通过提供的解析页面进行显示 目前是基于静态处理的（先生成，然后基于纯web 的解析渲染）对于展示方法很多，可以基于dbt 的docs serve 命令也可 阅读全文

摘要：dbt-audit-helper 从字面意思是dbt 的审计帮助工具，但是实际上我们也可以使用此工具做一些数据质量相关的东西 dbt-audit-helper 提供的macro 比较数据输出 包含了compare_relations,compare_queries,compare_row_count 阅读全文

摘要：dremio 对于日志的配置支持基于系统属性以及环境变量的模式，对于环境变量实际上也是使用的系统属性 参考配置 系统属性 可以直接通过dremio-env 文件添加 -Ddremio.log.path=/opt/dremio/logs 环境变量 直接添加环境变量就可以了 DREMIO_LOG_DIR 阅读全文

摘要：dbt Exposure 实际上就是给model，source，metrics 添加一个元数据标签，可以方便的在系统中展示，有利于模型依赖的可视化当然也有助于数据模型资产的分析 一个参考效果 如果不自己进行解析处理的话，主要体现在docs 界面上 参考资料 https://docs.getdbt.c 阅读全文