dbt 数据可观测性相关的一些扩展包
随着大家对于数据质量越来越重视,数据可观测性已经成为一个比较重要的工程化实践了,dbt core 实际上已经包含了一些简单的
数据质量能力(比如model schema 定义中关于test 的处理),但是默认的还是比较弱,所以社区以及dbt 官方提供了不少其他的扩
展可以更好的支持数据质量,以下是一个整理,方便使用
一些工具包
- piperider
piperider 实现上是实现的dbt 项目中数据的code review ,提供的数据质量相关的能力也是很强大的 - dbt-utils
数据官方提供的扩展,包含了不少支持数据质量的宏 - dbt-expectations
借鉴Great Expectations 实现的不少dbt test 宏,比dbt-utils 更加强大 - dbt-project-evaluator
一个项目最佳实践的工具包,核心不是进行数据质量处理的,但是还是很有用的,好的命名也是对于数据可观测xing性的
实践 - dbt-audit-helper
官方提供的宏,实现数据审计的 - dbt-unit-testing
实现dbt 单元测试的 - dbt-core
单独提dbt-core 是因为dbt core 已经包含了不少最佳实践,比如模型的test,模型的版本。。。
说明
围绕dbt 周边的工具还是很多的,而且国外不少公司就基于dbt 搞了自己的cloud
参考资料
https://github.com/InfuseAI/piperider
https://github.com/EqualExperts/dbt-unit-testing
https://github.com/calogica/dbt-expectations
https://github.com/dbt-labs/dbt-utils
https://github.com/dbt-labs/dbt-audit-helper
https://github.com/dbt-labs/dbt-project-evaluator
https://github.com/dbt-labs/dbt-core