dbt 数据可观测性相关的一些扩展包

随着大家对于数据质量越来越重视,数据可观测性已经成为一个比较重要的工程化实践了,dbt core 实际上已经包含了一些简单的
数据质量能力(比如model schema 定义中关于test 的处理),但是默认的还是比较弱,所以社区以及dbt 官方提供了不少其他的扩
展可以更好的支持数据质量,以下是一个整理,方便使用

一些工具包

  • piperider 
    piperider 实现上是实现的dbt 项目中数据的code review ,提供的数据质量相关的能力也是很强大的
  • dbt-utils 
    数据官方提供的扩展,包含了不少支持数据质量的宏
  • dbt-expectations 
    借鉴Great Expectations 实现的不少dbt test 宏,比dbt-utils 更加强大
  • dbt-project-evaluator 
    一个项目最佳实践的工具包,核心不是进行数据质量处理的,但是还是很有用的,好的命名也是对于数据可观测xing性的 
    实践
  • dbt-audit-helper 
    官方提供的宏,实现数据审计的
  • dbt-unit-testing 
    实现dbt 单元测试的
  • dbt-core 
    单独提dbt-core 是因为dbt core 已经包含了不少最佳实践,比如模型的test,模型的版本。。。

说明

围绕dbt 周边的工具还是很多的,而且国外不少公司就基于dbt 搞了自己的cloud

参考资料

https://github.com/InfuseAI/piperider
https://github.com/EqualExperts/dbt-unit-testing
https://github.com/calogica/dbt-expectations
https://github.com/dbt-labs/dbt-utils
https://github.com/dbt-labs/dbt-audit-helper
https://github.com/dbt-labs/dbt-project-evaluator
https://github.com/dbt-labs/dbt-core

posted on   荣锋亮  阅读(76)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)
历史上的今天:
2022-10-07 openmetadata 系统技术栈学习
2022-10-07 webvm 基于webassembly 的虚拟机
2019-10-07 class-transformer 方便的json 对象转class
2019-10-07 isopod dsl 框架管理kubernetes 配置
2019-10-07 cloudevents js sdk 简单试用
2019-10-07 AsyncAPI 几个方便的工具

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示