数据质量管理方法
数据处理的过程
数据处理的过程一般如下：
数据质量管理(DATA Quality Managenment)是指对上述过程中每个阶段可能出现引发数据质量的问题进行识别、监控、预警等相关管理活动。
通过改善和提高组织的管理水平是的数据质量进一步提升。
数据质量管理是一个循环管理的过程，其最终目标是通过可靠的数据，提升数据的使用价值，最终为企业赢得经济效益。
数据问题的影响因素
数据问题的来源可能源自上述过程的任一步骤，比如：
- 数据产生、采集阶段：数据的准确性、真实性、完整性、失效性都会影响数据质量
- 数据存储、技工阶段：会涉及对原始数据的修改，可能导致数据质量问题
数据质量评估方法
评估的维度
对于数据质量，我们一般会从一下几个维度进行评估
- 完整性：度量哪些数据丢失了或者哪些数据不可用，描述数据信息缺失的程度，视情况氛围数据信息记录缺失和字段信息缺失
- 一致性：用于度量那些数据的值在信息含义上是冲突
- 唯一性：用于度量哪些数据是重复数据或哪些数据属性是重复的额
- 真实性：用于度量数据是否真实、准确反应客观的实体存在或真实业务
- 准确性(可靠性)：用于度量那些数据是不准确或无效的
- 关联性：用于度量哪些关联的数据缺失或未建立索引等
- 时效性(及时性)：用于度量是否能在需要的时候获得相关数据
数据质量管理
数据质量管理我们可以划分为三个部分：
事前
- 梳理指标：确定对象(多表、单表、字段)
- 制定规则：指定数据质量稽核规则
事中
- 数据完整性：一般只数据条目完整性。常用方法为ODS层数据与抽取库(业务库)数据进行数据量对比
- 数据唯一性：一般指对数据主键唯一性校验，可通过count(1)与cunnt(distinct key)对比
- 数据非空性：主要分为两块，一是确定是否由于bug导致，是的话反馈问题，不是则需要想办法补回数据；
二是对于字段为空的时候，应该使用缺省值填充 - 数据有效性：校验数据是否与数据值域一致，比如范围、格式之类的，不一致则进行告警或处理
- 数据准确性：一般分为两点，一是数据指标波动稽核，设置相关阀值;
二是确定相关的几个表或字段之间是否存在逻辑冲突 - 数据及时性：对于数据生成过程进行稽核，如果超出合理时间则进行告警，查看出问题的点
预警、告警的方法：
- 电话告警：一般在紧急、重要、需要及时处理的情况下采用
- 邮件告警：不需要及时处理的情况
- 短信告警：同邮件告警，不需要及时处理的情况
事后
- 数据质量报告: 报表的形式展示数据质量模型明细数据
- 告警以及整改：对于异常任务通知相关责任人，并要求整改
- 订阅：订阅关系数据主题，相关人员进行查看
- 反推：如果稽核发现问题不在数据开发，而在业务方，则要求相关业务负责人进行整改
参考资料:老徐数据质量管理分享内容
