元数据与数据治理的关系图

 

一、数据治理中的核心元素——元数据

元数据(metadata)是关于数据的组织、数据域及其关系的信息,简单来说,元数据就是被用来描述数据的数据。

数据治理的前提是要有数据,并且要求数据类型全、量大,并尽可能的覆盖数据流转的各个环节,而元数据是“所有系统、文档和流程中包含的所有数据的语境。是生数据的知识。”换句话说,如果没有元数据,组织IT系统中收集和存储的所有数据都会失去意义,也就没有业务价值。
要想获得元数据的价值,需要根据建立的流程、在行业标准和最佳实践指导的范围内管理元数据。在“DAMA车轮图”中,元数据管理占据了十大数据管理领域其中很重要的一环
 
元数据管理是一项和主数据管理、数据治理一样重要的功能,因为元数据管理是每一个这些准则的基础组件。不管理好元数据,是不能管理好主数据的。
 
二、元数据的分类
按照不同领域和功能,元数据一般来说可分为:技术元数据、业务元数据、操作元数据、管理元数据。由于使用视角不同会影响到对元数据的分类,所以具体的分类标准并不严格。(比如数据安全等级指标——从安全部门的视角来看,属于业务元数据;从开发部门的视角来看,就属于管理元数据。)
1、技术元数据
技术元数据是用于开发和日常管理数据仓库时用的数据。它作为数据的结构化,能够方便计算机、数据库对数据进行识别、存储、传输和交换。
对开发人员来说,它有助于明确数据的存储、结构,为应用开发和系统集成打牢基础;对业务人员来说,它有助于理清数据关系,从而能够更加快速地找到想要的数据,进而对数据的来源和去向进行分析,支持数据血缘追溯和影响分析。
常见的技术元数据:
l 物理数据库表名称、列名称、字段长度、字段类型、约束信息、数据依赖关系等;
l 数据存储类型、位置、数据存储文件格式或数据压缩类型等;
l 字段级血缘关系、SQL脚本信息、ETL抽取加载转换信息、接口程序等;
l 调度依赖关系、进度和数据更新频率等。
2、业务元数据
业务元数据描述的对象,是数据的业务含义、业务规则等。通过对业务元数据的明确,人们对它的理解和使用会变得更加容易。元数据使得数据的二义性不复存在,人们对数据含义能够产生一致的认知,避免了“自说自话”的情况,进而为数据分析和应用提供支撑。
常见的业务元数据:
l 业务定义、业务术语解释等;
l 业务指标名称、计算口径、衍生指标等;
l 业务规则引擎的规则、数据质量检测规则、数据挖掘算法等;
l 数据的安全或敏感级别等。
3、操作元数据
操作元数据描述了数据的操作属性,比如管理部门、管理责任人等。数据操作属性的明确,有助于将数据管理责任落实到部门和个人,是数据安全管理的基础条件。
常见的操作元数据:
l 数据所有者、使用者等;
l 数据的访问方式、访问时间、访问限制等;
l 数据访问权限、组和角色等;
l 数据处理作业的结果、系统执行日志等;
l 数据备份、归档人、归档时间等。

 

 

posted @ 2024-01-08 14:12  粒子先生  阅读(73)  评论(0编辑  收藏  举报