dbt 数据可观测性相关的一些扩展包

随着大家对于数据质量越来越重视,数据可观测性已经成为一个比较重要的工程化实践了,dbt core 实际上已经包含了一些简单的
数据质量能力(比如model schema 定义中关于test 的处理),但是默认的还是比较弱,所以社区以及dbt 官方提供了不少其他的扩
展可以更好的支持数据质量,以下是一个整理,方便使用

一些工具包

  • piperider 
    piperider 实现上是实现的dbt 项目中数据的code review ,提供的数据质量相关的能力也是很强大的
  • dbt-utils 
    数据官方提供的扩展,包含了不少支持数据质量的宏
  • dbt-expectations 
    借鉴Great Expectations 实现的不少dbt test 宏,比dbt-utils 更加强大
  • dbt-project-evaluator 
    一个项目最佳实践的工具包,核心不是进行数据质量处理的,但是还是很有用的,好的命名也是对于数据可观测xing性的 
    实践
  • dbt-audit-helper 
    官方提供的宏,实现数据审计的
  • dbt-unit-testing 
    实现dbt 单元测试的
  • dbt-core 
    单独提dbt-core 是因为dbt core 已经包含了不少最佳实践,比如模型的test,模型的版本。。。

说明

围绕dbt 周边的工具还是很多的,而且国外不少公司就基于dbt 搞了自己的cloud

参考资料

https://github.com/InfuseAI/piperider
https://github.com/EqualExperts/dbt-unit-testing
https://github.com/calogica/dbt-expectations
https://github.com/dbt-labs/dbt-utils
https://github.com/dbt-labs/dbt-audit-helper
https://github.com/dbt-labs/dbt-project-evaluator
https://github.com/dbt-labs/dbt-core

posted on 2023-10-07 10:15  荣锋亮  阅读(65)  评论(0编辑  收藏  举报

导航