元数据(metadata)管理
什么是元数据
元数据(metadata)是从数据发展而来,同时作为数据的一种功能。
元数据是“数据的数据”,是对数据的标识——我们通常通过一组属性或元素来描述特定的资源,而这些属性或元素就是该资源的元数据。
典型的例子是图书馆的书目,就是一种元数据。书目包含作者、题名、出版日期、主题、存放架号等属性。对于每本指定的书,都会在书目中有上述属性值。这些数据值就是该书的“元数据”。
元数据的层次
分层管理是人们解决复杂问题的一种思路。通常人们会将资源按照一定的层次进行分类,以便于管理。元数据可应用于不同层次,或者说,可以定义全局的元数据,也可以定义某一层次资源的元数据。比如上述书目的例子中,我们可以在“计算机图书”类中加上“相关编程语言”这样一个属性。
元数据的作用
元数据的作用在于:以一种统一和稳定的方式描述和组织存储在不同介质上的信息。元数据有助于查找和描述信息资源,从而可以改进对资源进行检索、管理和利用。
元数据还可以帮助组织电子资源,促进其互用性,验证其标识,以及确保对它们的长期保存。
一般情况下,元数据的公认用途包括:
(1) 描述和发现资源,
(2)管理资源集合
(3)保存数字化资源。
元数据的类型
从上述元数据的作用,可以将元数据分成以下类型:
(1)描述型元数据:用于识别、发现、访问以及评价资源;
(2)管理型元数据:用于整理、聚合、验证和存档资源
(3)存储型元数据:用于资源的存储(典型的如数据库元数据)
另外从信息系统的角度出发,元数据可以分为技术元数据和业务元数据。
技术元数据包括数据源的位置、数据访问协议(ODBC、JDBC、SQL*NET等)、数据源的物理结构(如数据库描述、表定义、栏目描述等)、数据源的逻辑结构(ER模型、目标模型、实体模型)等。
业务上元数据包括与信息获取有关的上下文信息、定义企业组织机构和产品层级的分类法、用来定义商业术语的控制性词汇的词汇表或参考数据,例如医学词典、金融术语等。
元数据管理
元数据管理的目标是为了提升共享、重新获取和理解企业信息资产的水平。良好的元数据管理可以避免信息丢失或隐藏,方便数据集成,从而更好的支持业务。
元数据管理包括元数据的创建、存储、集成、监督和优化几个方面。
元数据创建
元数据通常是被不同的用户或机构共享。为了保证元数据的共享和协同操作,必须建立元数据的构建规则,并加以权限控制,从而保证元数据及相应资源的充分利用。
元数据存储
元数据可以与资源存储在一起(如HTML文件),也可以单独存储(如图书馆书目)。
共同存储的好处是不会丢失,连接可靠的,可以同时更新;
分开存储的好处是易于管理。但是有时候元数据不能与资源一起存储,尤其是业务元数据。
元数据交换
元数据通常在局部产生,但需要在不同的用户或机构之间进行交换。元数据交换是资源共享的重要前提,尽管很多时候这一过程是隐式进行的。
元数据集成
局部定义的元数据可能会产生大量的不一致:相同的名字表示不同的属性,或者相同的属性用多种方法命名。为了保证元数据的一致性,有必要建立“中央知识库”,对组织内部的元数据进行集中管理。
元数据监督
元数据集成后,需要将元数据的修改传播到使用这些元数据的组织或个人。需要建立监督体系结构(定义数据和应用的拥有者),监督数据资产(数据仓库、数据集市、命名标准),并定义监督流程(何时开始更新、如何更新)。
元数据优化
建立元数据模型和标准的词汇表,建立知识本体,对元数据进行优化,并实现知识库和知识集成。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源!
· 周边上新:园子的第一款马克杯温暖上架