随笔分类 - dbt

My journey introducing the data build tool (dbt) in project’s analytical stacks

摘要：转自：https://www.lantrns.co/my-journey-introducing-the-data-build-tool-dbt-in-projects-analytical-stacks/ Not sure I remember how, but I had the good lu 阅读全文

posted @ 2019-06-05 18:28 荣锋亮阅读(458) 评论(0) 推荐(0) 编辑

dbt 包依赖简单测试

摘要：dbt 包含一个自己的包管理，可以使用git 等工具，还是很方便的，可以方便的进行代码共享，实现复用创建简单包实际上就是一个简单的dbt 项目,参考项目 https://gitlab.com/dalongrong/dbt-gitlab-demo 创建简单包 dbt init gitlab-dem 阅读全文

posted @ 2018-10-22 15:13 荣锋亮阅读(815) 评论(0) 推荐(0) 编辑

dbt seed 以及base ephemeral使用

摘要：seed 可以方便的进行数据的导入，可以方便的进行不变数据（少量）以及测试数据的导入， base 设置为 ephemeral（暂态），这个同时也是官方最佳实践的建议项目依赖的gitlab 数据可以参考https://github.com/rongfengliang/graphql-engine-g 阅读全文

posted @ 2018-10-22 10:14 荣锋亮阅读(529) 评论(0) 推荐(0) 编辑

dbt macro 说明

摘要：macro是SQL的片段，可以像模型中的函数一样调用。macro可以在模型之间重复使用SQL，以符合DRY（不要重复自己）的工程原理。此外，共享包可以公开您可以在自己的dbt项目中使用的macro。要使用macro，macro-paths请在dbt_project.yml文件中添加配置条目。ma 阅读全文

posted @ 2018-10-21 10:30 荣锋亮阅读(369) 评论(0) 推荐(0) 编辑

构建一个dbt 数据库适配器

摘要：脚手架新的适配器首先，将odbc适配器模板复制到同一目录中的新文件。更新dbt / adapters / factory.py以将新适配器包含为类型。还要将类型添加到dbt / contracts / connection.py，并添加一个定义适配器配置文件外观的约定。实现适配器功能在适配阅读全文

posted @ 2018-10-21 10:20 荣锋亮阅读(898) 评论(0) 推荐(0) 编辑

dbt 包的构建

摘要：dbt的包是一种可以复用的代码，可以方便进行模型的共享创建一个包和普通的dbt 项目类似初始化（init） dbt init [packagename] 目录结构文件: README.md dbt_project.yml 目录: models/ macros/ tests/ analysis 阅读全文

posted @ 2018-10-21 10:09 荣锋亮阅读(448) 评论(0) 推荐(0) 编辑

dbt 生产环境使用

摘要：可以使用如下方式：云主机或者普通的机器使用 airflow 使用 Sinter, 一个托管的dbt runner 常见问题: 如何管理权限？可以使用hooks 进行配置用户组以及权限说明实际上，支持任务调度的工具都是可以用来触发dbt的参考资料 https://docs.getdbt.c 阅读全文

posted @ 2018-10-21 09:48 荣锋亮阅读(434) 评论(0) 推荐(0) 编辑

来自官方的一些dbt 最佳实践

摘要：限制对原始数据的依赖性您的项目将取决于存储在数据库中的原始数据。我们建议制作所谓的“基本模型”，以最大限度地减少对原始数据表的依赖性。在此约定中，基本模型可以具有以下职责：仅选择与当前分析相关的字段以限制复杂性。以后可以随时添加更多字段。执行任何所需的类型转换。执行字段别名以将字段名称合理化阅读全文

posted @ 2018-10-21 09:42 荣锋亮阅读(1360) 评论(0) 推荐(0) 编辑

dbt 包管理

摘要：dbt 可以方便的支持基于git 的包管理依赖申明位置 dbt_project.yml 中的repositories 或者使用packages.yaml 格式 dbt_project.yml: repositories: - https://github.com/fishtown-analyti 阅读全文

posted @ 2018-10-20 20:28 荣锋亮阅读(472) 评论(0) 推荐(0) 编辑

dbt 的知识文档管理

摘要：dbt 支持docs的管理，可以方便进行分享，以及大家的可视化工作有一篇文档讲的特别好分析了知识共享，知识管理的重要性（dbt 对应公司的ceo） https://blog.fishtownanalytics.com/scaling-knowledge-160f9f5a9b6c?_branch_m 阅读全文

posted @ 2018-10-20 20:08 荣锋亮阅读(588) 评论(0) 推荐(0) 编辑

dbt 基本试用

摘要：dbt 是一个很不错的进行etl 中的t 处理的工具，灵活简单，我们需要写的就是select 语句 dbt 帮助我们进行处理测试集成了graphql 以及使用docker 运行安装 pip install dbt 创建简单demo 使用dbt 处理 dbt init demoapp 配置prof 阅读全文

posted @ 2018-10-19 11:08 荣锋亮阅读(3135) 评论(0) 推荐(0) 编辑

dbt- 数据构建工具

摘要：dbt（数据构建工具）是一个命令行工具，只需编写select语句即可转换仓库中的数据。 dbt处理将这些select语句转换为表和视图。DBT帮助做T的ELT（提取，加载和转换）的过程-它不提取或加载数据，但它是在改造一个已经加载到你的仓库中的数据非常好。参考资料 https://docs.ge 阅读全文

posted @ 2018-10-18 11:34 荣锋亮阅读(3013) 评论(0) 推荐(0) 编辑