七、数据仓库元数据管理
原文:点击这里
一、元数据的定义
元数据(metadata) 即数据的数据,是描述数据仓库结构和数据仓库建立方法的数据,主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般会通过元数据资料库(Metadata Repository)来统一地存储和管理元数据,其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。。
元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据
元数据按用途的不同分为两类:技术元数据(Technical Metadata)和业务元数据(Business Metadata)
- 技术元数据为开发和管理数据仓库的IT 人员使用。它描述了与数据仓库开发、管理和维护相关的数据,包括数据源信息、数据转换描述、数据仓库模型、数据清洗与更新规则、数据映射和访问权限等。
- 业务元数据为管理层和业务分析人员使用。它从业务角度描述数据,包括商务术语、数据仓库中有什么数据、数据的位置和数据的可用性等,以帮助业务人员更好地理解数据仓库中哪些数据是可用的以及如何使用。
元数据主要包括以下信息:
- 数据仓库结构的描述,包括仓库模式、视图、维、层次结构和导出数据的定义,以及数据集市的位置和内容;
- 业务系统、数据仓库和数据集市的体系结构和模式
- 汇总用的算法,包括度量和维定义算法,数据粒度、主题领域、聚集、汇总、预定义的查询与报告;
- 由操作环境到数据仓库环境的映射,包括源数据和它们的内容、数据分割、数据提取、清理、转换规则和数据刷新规则、安全(用户授权和存取控制)。
元数据机制主要支持以下五类系统管理功能:
(1)描述哪些数据在数据仓库中;
(2)定义要进入数据仓库中的数据和从数据仓库中产生的数据;
(3)记录根据业务事件发生而随之进行的数据抽取工作时间安排;
(4)记录并检测系统数据一致性的要求和执行情况;
(5)衡量数据质量。
自强不息,厚德载物