dbt 数据可观测性相关的一些扩展包
随着大家对于数据质量越来越重视,数据可观测性已经成为一个比较重要的工程化实践了,dbt core 实际上已经包含了一些简单的
数据质量能力(比如model schema 定义中关于test 的处理),但是默认的还是比较弱,所以社区以及dbt 官方提供了不少其他的扩
展可以更好的支持数据质量,以下是一个整理,方便使用
一些工具包
- piperider
piperider 实现上是实现的dbt 项目中数据的code review ,提供的数据质量相关的能力也是很强大的 - dbt-utils
数据官方提供的扩展,包含了不少支持数据质量的宏 - dbt-expectations
借鉴Great Expectations 实现的不少dbt test 宏,比dbt-utils 更加强大 - dbt-project-evaluator
一个项目最佳实践的工具包,核心不是进行数据质量处理的,但是还是很有用的,好的命名也是对于数据可观测xing性的
实践 - dbt-audit-helper
官方提供的宏,实现数据审计的 - dbt-unit-testing
实现dbt 单元测试的 - dbt-core
单独提dbt-core 是因为dbt core 已经包含了不少最佳实践,比如模型的test,模型的版本。。。
说明
围绕dbt 周边的工具还是很多的,而且国外不少公司就基于dbt 搞了自己的cloud
参考资料
https://github.com/InfuseAI/piperider
https://github.com/EqualExperts/dbt-unit-testing
https://github.com/calogica/dbt-expectations
https://github.com/dbt-labs/dbt-utils
https://github.com/dbt-labs/dbt-audit-helper
https://github.com/dbt-labs/dbt-project-evaluator
https://github.com/dbt-labs/dbt-core
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)
2022-10-07 openmetadata 系统技术栈学习
2022-10-07 webvm 基于webassembly 的虚拟机
2019-10-07 class-transformer 方便的json 对象转class
2019-10-07 isopod dsl 框架管理kubernetes 配置
2019-10-07 cloudevents js sdk 简单试用
2019-10-07 AsyncAPI 几个方便的工具