deequ aws 开源的数据质量框架
deequ 是aws 开源的基于spark 的数据质量框架（数据单元测试），同时也提供了python 包
deequ 提供的能力
- metrics 计算
- 约束建议
- 约束校验
- metrics repo
参考架构图
说明
对于希望实现数据质量的团队deequ的设计还是很值得学习参考的，只是目前是基于spark的，对于一些团队可能不是很方便（可能暂时用不上spark），对于基于现代数据栈模式的，基于dbt 也是一个不错的选择（推荐模型创建也基于dbt），后边仔细研究下deequ
参考资料
https://github.com/awslabs/deequ
https://github.com/awslabs/python-deequ
http://www.vldb.org/pvldb/vol11/p1781-schelter.pdf
https://pydeequ.readthedocs.io/en/latest/README.html
https://www.metaplane.dev/state-of-data-quality-monitoring-2024
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
2021-06-20 js json 处理几个方便的npm包
2021-06-20 trpc 基于typescript的api 开放框架
2021-06-20 几个不错的json schema 校验
2020-06-20 使用imageproxy+minio处理图片缩放
2018-06-20 memsql filesystem pipeline 试用
2018-06-20 memsql 多节点部署
2016-06-20 前端优化:DNS预解析提升页面速度