deequ aws 开源的数据质量框架
deequ 是aws 开源的基于spark 的数据质量框架（数据单元测试），同时也提供了python 包
deequ 提供的能力
- metrics 计算
- 约束建议
- 约束校验
- metrics repo
参考架构图
说明
对于希望实现数据质量的团队deequ的设计还是很值得学习参考的，只是目前是基于spark的，对于一些团队可能不是很方便（可能暂时用不上spark），对于基于现代数据栈模式的，基于dbt 也是一个不错的选择（推荐模型创建也基于dbt），后边仔细研究下deequ
参考资料
https://github.com/awslabs/deequ
https://github.com/awslabs/python-deequ
http://www.vldb.org/pvldb/vol11/p1781-schelter.pdf
https://pydeequ.readthedocs.io/en/latest/README.html
https://www.metaplane.dev/state-of-data-quality-monitoring-2024
