数据质量保障原则,方法概述
随着IT向DT时代的转变,数据重要性不言而喻,数据的应用也日趋繁茂,数据正扮演着一个极重要的角色。而对于日益重视的数据,如何保障其质量也是业界普遍关注的话题。
1 数据质量保障原则
![\](https://www.2cto.com/uploadfile/Collfiles/20171009/20171009141546333.jpg)
2 数据质量方法概述
阿里的业务复杂,种类繁多的产品每天产生数以亿计的数据,每天的数据量在PB级以上,而数据消费端的应用又层出不穷,各类数据产品如雨后春笋般出现。为了满足这些数据应用,数据仓库的规模也不断膨胀,同时数据质量的保障也越来越复杂。
![\](https://www.2cto.com/uploadfile/Collfiles/20171009/20171009141547334.jpg)
2.1 消费场景知晓
![\](https://www.2cto.com/uploadfile/Collfiles/20171009/20171009141547335.jpg)
2.2 数据加工过程卡点校验
![\](https://www.2cto.com/uploadfile/Collfiles/20171009/20171009141547336.jpg)
2.3 风险点监控
![\](https://www.2cto.com/uploadfile/Collfiles/20171009/20171009141548337.jpg)
2.4 质量衡量
![\](https://www.2cto.com/uploadfile/Collfiles/20171009/20171009141548338.jpg)