[论文笔记] Methodologies for Data Quality Assessment and Improvement (ACM Comput.Surv, 2009) (2)
本篇博文主要对DMQ(S3.7)的分类进行了研读。
1. 这个章节提出了一种DQM的分类法(如下图)
由上图可见,该分类法的分类标准是对assessment & improvement阶段的支持,以及是否解决technique(quality dimensions) & economic方面的问题。
2. 从历史发展的角度来看,数据质量维度的关注点与ICT(Information & Communication Technology)的发展是相关的。
(1) 五六十年代时,monolithic系统(通常只包含单个数据库和单个主机),DQ主要关注accuracy, consistency, completeness, time-related dimensions. 数据质量管理面临的最主要问题是:error localization, correction in data sources, record linkage between new data sources and pre-existing data bases.
(2) network-based阶段. DMQ开始关注新的质量维度:compeleteness of the data source, currency of data, consistency of new data sources compared to the enterprise database.
(3) 随着Web的出现,DMQ需要解决新的质量维度:accessibility, reputation
3. audit methodologies比complete、operational methodologies在assessmetn阶段都要更准确。
4. 四种分类的简介
- audit methodologies: 主要是关于assessment阶段
- operational methodologeis: 关注点在于评估阶段识别issues以便在改进阶段取得好的效果。主要贡献:(1) 一组相关维度的识别,以便改进; (2) 描述了一些改进这些维度的易懂的方法
- completeness methodologies: 适用于大型DQ项目
- economic methodologies: 作为其他DQM的补充