2018年10月21日

dbt macro 说明

摘要: macro是SQL的片段,可以像模型中的函数一样调用。macro可以在模型之间重复使用SQL,以符合DRY(不要重复自己)的工程原理。 此外,共享包可以公开您可以在自己的dbt项目中使用的macro。 要使用macro,macro-paths请在dbt_project.yml文件中添加配置条目。ma 阅读全文

posted @ 2018-10-21 10:30 荣锋亮 阅读(349) 评论(0) 推荐(0) 编辑

构建一个dbt 数据库适配器

摘要: 脚手架新的适配器 首先,将odbc适配器模板复制到同一目录中的新文件。 更新dbt / adapters / factory.py以将新适配器包含为类型。还要将类型添加到dbt / contracts / connection.py, 并添加一个定义适配器配置文件外观的约定。 实现适配器功能 在适配 阅读全文

posted @ 2018-10-21 10:20 荣锋亮 阅读(878) 评论(0) 推荐(0) 编辑

dbt 包的构建

摘要: dbt的包是一种可以复用的代码,可以方便进行模型的共享 创建一个包 和普通的dbt 项目类似 初始化(init) dbt init [packagename] 目录结构 文件: README.md dbt_project.yml 目录: models/ macros/ tests/ analysis 阅读全文

posted @ 2018-10-21 10:09 荣锋亮 阅读(434) 评论(0) 推荐(0) 编辑

dbt 生产环境使用

摘要: 可以使用如下方式: 云主机或者普通的机器 使用 airflow 使用 Sinter, 一个托管的dbt runner 常见问题: 如何管理权限? 可以使用hooks 进行配置用户组以及权限 说明 实际上,支持任务调度的工具都是可以用来触发dbt的 参考资料 https://docs.getdbt.c 阅读全文

posted @ 2018-10-21 09:48 荣锋亮 阅读(426) 评论(0) 推荐(0) 编辑

来自官方的一些dbt 最佳实践

摘要: 限制对原始数据的依赖性 您的项目将取决于存储在数据库中的原始数据。我们建议制作所谓的“基本模型”,以最大限度地减少对原始数据表的依赖性。在此约定中,基本模型可以具有以下职责: 仅选择与当前分析相关的字段以限制复杂性。以后可以随时添加更多字段。 执行任何所需的类型转换。 执行字段别名以将字段名称合理化 阅读全文

posted @ 2018-10-21 09:42 荣锋亮 阅读(1332) 评论(0) 推荐(0) 编辑

导航