摘要: 介绍 1.原理: 从hive metadata中加载数据源根据用户指定的数据质量检查的规则,将规则转换为Spark程序,利用Spark这种强大的计算能力,为数据质量做出检测分析。 2.程序设计模块 measure:计算层,使用spark计算用户制定的数据质量校验规则,由scala开发。service 阅读全文
posted @ 2020-02-11 17:33 鱼丸河粉 阅读(3268) 评论(1) 推荐(0) 编辑