2024年5月10日

dbt dbt_external_tables 包简单说明

摘要: dbt dbt_external_tables 提供了在source 中使用外部table 的能力,主要面向的一些支持外表能力的数据仓库 因为dbt 已经支持了对于external配置属性的解析,dbt-external-tables 包核心就是对于包含属性的进行处理 比如创建table,schem 阅读全文

posted @ 2024-05-10 19:37 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

jetbrains gateway + gitpod 进行dremio 构建

摘要: 实际上属于一个测试,尤其在自己电脑资源有限以及网络比较慢的时候基于gitpod 的构建是很不错的,同时基于 jetbrains 的gateway 可以直接进行远程开发 构建 命令 mvn clean install -DskipTests -Dlicense.skip=true 可能需要安装下jav 阅读全文

posted @ 2024-05-10 19:36 荣锋亮 阅读(44) 评论(0) 推荐(0) 编辑

dbt fromyaml 上下文方法简单说明

摘要: fromyaml 上下文方法可以用来加载yaml 内容,属于一个工具类,比如automate-dv 就使用了不少方法 参考使用 {%- set info -%} source_model: raw_staging: "raw_customer" derived_columns: SOURCE: "! 阅读全文

posted @ 2024-05-10 16:25 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

dbt macro 中获取relation 的几种方法

摘要: 很多时候我们是希望在自己开发的macro中引用relation 这样可以获取实际模型在数据库中的信息,方便数据的写入,或者进行查询 实现动态能力,尤其在进行数据质量方便的处理时候,以下简单说明下一些可选的方法 参考方法 直接使用api.Relation.create 创建新的 如果知道一些信息(da 阅读全文

posted @ 2024-05-10 12:57 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

dremio CatalogMaintenanceService 服务简单说明

摘要: 说明此服务是从25.0 开始包含的,同时在release note 中也有说明,以下主要说明下内部实现 release 信息 如下,具体就不翻译了,主要是添加了一个每个任务进行每个view最大保留50个历史信息 Added daily catalog maintenance tasks to tri 阅读全文

posted @ 2024-05-10 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

导航