浅析数据质量检查
What are the four broad categories of data quality checks? Provide an implementation technique for each.
数据质量检查的四大类是什么?为每类提供一种实现技术。
答:数据质量检查是ETL工作中非常重要的一步,主要关注一下四个方面。
1.正确性检查(Corret)
检查数据值及其描述是否真实的反映了客观事务。例如地址的描述是否完全。
2.明确性检查(Unambiguous)
检查数据值及其描述是否只有一个意思或者只有一个解释。例如地名相同的两个县需要加区分方法。
3.一致性检查(Consistent)
检查数据值及其描述是否统一的采用固定的约定符号来表示。例如币别中人民币用'CNY'。
4.完全性检查(Complete)
完全性有两个需要检查的地方,一个是检查字段的数据值及其描述是否完全。例如检查是否有空值。另一个是检查记录的合计值是否完全,有没有遗忘某些条件。
白发三千丈