随笔分类 -  dbt

上一页 1 ··· 4 5 6 7 8

dbt seed 以及base ephemeral使用
摘要:seed 可以方便的进行数据的导入,可以方便的进行不变数据(少量)以及测试数据的导入, base 设置为 ephemeral(暂态),这个同时也是官方最佳实践的建议 项目依赖的gitlab 数据可以参考https://github.com/rongfengliang/graphql-engine-g 阅读全文

posted @ 2018-10-22 10:14 荣锋亮 阅读(527) 评论(0) 推荐(0) 编辑

dbt macro 说明
摘要:macro是SQL的片段,可以像模型中的函数一样调用。macro可以在模型之间重复使用SQL,以符合DRY(不要重复自己)的工程原理。 此外,共享包可以公开您可以在自己的dbt项目中使用的macro。 要使用macro,macro-paths请在dbt_project.yml文件中添加配置条目。ma 阅读全文

posted @ 2018-10-21 10:30 荣锋亮 阅读(358) 评论(0) 推荐(0) 编辑

构建一个dbt 数据库适配器
摘要:脚手架新的适配器 首先,将odbc适配器模板复制到同一目录中的新文件。 更新dbt / adapters / factory.py以将新适配器包含为类型。还要将类型添加到dbt / contracts / connection.py, 并添加一个定义适配器配置文件外观的约定。 实现适配器功能 在适配 阅读全文

posted @ 2018-10-21 10:20 荣锋亮 阅读(889) 评论(0) 推荐(0) 编辑

dbt 包的构建
摘要:dbt的包是一种可以复用的代码,可以方便进行模型的共享 创建一个包 和普通的dbt 项目类似 初始化(init) dbt init [packagename] 目录结构 文件: README.md dbt_project.yml 目录: models/ macros/ tests/ analysis 阅读全文

posted @ 2018-10-21 10:09 荣锋亮 阅读(441) 评论(0) 推荐(0) 编辑

dbt 生产环境使用
摘要:可以使用如下方式: 云主机或者普通的机器 使用 airflow 使用 Sinter, 一个托管的dbt runner 常见问题: 如何管理权限? 可以使用hooks 进行配置用户组以及权限 说明 实际上,支持任务调度的工具都是可以用来触发dbt的 参考资料 https://docs.getdbt.c 阅读全文

posted @ 2018-10-21 09:48 荣锋亮 阅读(429) 评论(0) 推荐(0) 编辑

来自官方的一些dbt 最佳实践
摘要:限制对原始数据的依赖性 您的项目将取决于存储在数据库中的原始数据。我们建议制作所谓的“基本模型”,以最大限度地减少对原始数据表的依赖性。在此约定中,基本模型可以具有以下职责: 仅选择与当前分析相关的字段以限制复杂性。以后可以随时添加更多字段。 执行任何所需的类型转换。 执行字段别名以将字段名称合理化 阅读全文

posted @ 2018-10-21 09:42 荣锋亮 阅读(1343) 评论(0) 推荐(0) 编辑

dbt 包管理
摘要:dbt 可以方便的支持基于git 的包管理 依赖申明 位置 dbt_project.yml 中的repositories 或者使用packages.yaml 格式 dbt_project.yml: repositories: - https://github.com/fishtown-analyti 阅读全文

posted @ 2018-10-20 20:28 荣锋亮 阅读(464) 评论(0) 推荐(0) 编辑

dbt 的知识文档管理
摘要:dbt 支持docs的管理,可以方便进行分享,以及大家的可视化工作 有一篇文档讲的特别好分析了知识共享,知识管理的重要性(dbt 对应公司的ceo) https://blog.fishtownanalytics.com/scaling-knowledge-160f9f5a9b6c?_branch_m 阅读全文

posted @ 2018-10-20 20:08 荣锋亮 阅读(582) 评论(0) 推荐(0) 编辑

dbt 基本试用
摘要:dbt 是一个很不错的进行etl 中的t 处理的工具,灵活简单,我们需要写的就是select 语句 dbt 帮助我们进行处理 测试集成了graphql 以及使用docker 运行 安装 pip install dbt 创建简单demo 使用dbt 处理 dbt init demoapp 配置prof 阅读全文

posted @ 2018-10-19 11:08 荣锋亮 阅读(3114) 评论(0) 推荐(0) 编辑

dbt- 数据构建工具
摘要:dbt(数据构建工具)是一个命令行工具,只需编写select语句即可转换仓库中的数据。 dbt处理将这些select语句转换为表和视图。DBT帮助做T的ELT(提取,加载和转换) 的过程-它不提取或加载数据,但它是在改造一个已经加载到你的仓库中的数据非常好。 参考资料 https://docs.ge 阅读全文

posted @ 2018-10-18 11:34 荣锋亮 阅读(3008) 评论(0) 推荐(0) 编辑

上一页 1 ··· 4 5 6 7 8

导航