soda 数据质量测试工具

soda 数据质量测试工具,可以方便的集成到ci/cd 中,同时支持的数据库也不少,soda 同时还提供了一个强大的metrcis 检查语言
基于yaml 配置文件就可以实现强大的数据质量检测(也支持输出数据格式为json,方便分析)

说明

soda 同时也提供了data contract 的支持,对于dbt 也是支持的,soda 包含了core 以及library,cloud,core 部分是开源的同时可以不依赖cloud
对于直接使用library 的需要cloud api key (目前有45天的免费体验),对于内部系统的多ci/cd 我们使用core 基本就够用了

参考资料

https://github.com/sodadata/soda-core
https://docs.soda.io/soda/data-contracts.html
https://docs.soda.io/soda-cl/metrics-and-checks.html
https://docs.soda.io/soda/quick-start-sodacl.html#tips-and-best-practices-for-sodacl

posted on   荣锋亮  阅读(101)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)
历史上的今天:
2023-03-21 ytsaurus yandex 开源的大数据平台
2023-03-21 citus 11.2 更好的支持patroni 集群部署
2023-03-21 jenkins 配置注意空格问题
2022-03-21 使用odbc 提升cube.js 查询dremio 的性能
2017-03-21 caddy server 几个常用插件
2016-03-21 nginx windows 版 创建windows 服务

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示