soda 数据质量测试工具

soda 数据质量测试工具,可以方便的集成到ci/cd 中,同时支持的数据库也不少,soda 同时还提供了一个强大的metrcis 检查语言
基于yaml 配置文件就可以实现强大的数据质量检测(也支持输出数据格式为json,方便分析)

说明

soda 同时也提供了data contract 的支持,对于dbt 也是支持的,soda 包含了core 以及library,cloud,core 部分是开源的同时可以不依赖cloud
对于直接使用library 的需要cloud api key (目前有45天的免费体验),对于内部系统的多ci/cd 我们使用core 基本就够用了

参考资料

https://github.com/sodadata/soda-core
https://docs.soda.io/soda/data-contracts.html
https://docs.soda.io/soda-cl/metrics-and-checks.html
https://docs.soda.io/soda/quick-start-sodacl.html#tips-and-best-practices-for-sodacl

posted on 2024-03-21 08:00  荣锋亮  阅读(76)  评论(0编辑  收藏  举报

导航