数据管理概述
一、引言
数据管理是一个职能,也可认为是一个高层次的业务流程。它包括通过规划与执行相关政策策略、实践和项目,以获取、控制、保护和交付数据和信息资产,从而提高数据和信息资产价值。
数据管理也可能指一个项目群,即包括了几个相互关联的项目所带来的持续举措。这个术语“数据管理项目群"可以被替换为“数据管理职能”。数据管理的主要内容总结在图2.1所示的关联图中。
二、使命和目标
数据管理职能的使命是在信息的可用性、安全性和质量方面,满足并超越企业中所有利益相关者的信息需求。
数据管理职能的战略目标是:
(1)理解企业和所有利益相关者的信息需求。
(2)获取、存储、保护和确保数据资产的完整性。
(3)不断提高数据和信息的质量,包括:
• 数据的准确性。
• 数据的完整性。
• 数据整合。
• 数据采集和显示的及时性。
• 数据的相关性和实用性。
• 明确性和被共同接受的数据定义。
(4）确保隐私和保密,防止数据和信息未经授权或不恰当地被使用。
(5)确保数据和信息资产的有效利用和价值最大化。
其他非战略性的数据管理目标包括:
(1）控制数据管理成本。
(2)促进对数据资产价值的更广泛和深入的理解。
(3)在整个企业中,保持信息管理的一致性。
(4)确保数据管理的努力和技术与业务需求的目标一致。
虽然对整个企业来说,数据管理的意愿是不变的和一致的,但任何企业的数据管理年度目标每年是不同的。目标应该遵循“SMART”原则:具体的、可衡量的、可实现的(或可操作的)、现实的,就指定的目标时间范围来说是及时的。
三、指导原则
数据管理的总体和一般原则包括:
• 数据和信息是有价值的企业资产。
• 如同任何其他资产一样仔细管理数据和信息资产,确保其有足够的质量、安全性,完整性、保障、可用性、可理解性并得到有效利用。
• 数据管理是业务数据管理专员(数据资产信托人)和数据管理专业人员(数据资产监管专家)之间共同承担的责任。
• 数据管理是一个业务职能,也是一套相关学科。
• 数据管理是IT领域内的一个新兴和正在逐步成熟的职业。
四、职能与活动
数据管理流程体现在它的职能与活动之中。下面列出了数据管理的十大组成职能。
(1)数据治理:数据资产管理的权威性和控制性活动(规划、监视和强制执行)。数据治理是对数据管理的高层计划与控制。
(2）数据架构管理:定义企业的数据需求,并设计蓝图以便满足这一需求。该职能包括在所有企业架构环境中,开发和维护企业数据架构,同时也开发和维护企业数据架构与应用系统解决方案、企业架构实施项目之间的关联。
(3)数据开发:为满足企业的数据需求、设计、实施与维护解决方案。也就是系统开发生命周期(SDLC)中以数据为主的活动,包括数据建模,数据需求分析,设计、实施和维护数据库中数据相关的解决方案。
(4）数据操作管理:对于结构化的数据资产在整个数据生命周期(从数据的产生、获取到存档和清除)进行的规划、控制与支持。
(5）数据安全管理:规划、开发和执行安全政策与措施,提供适当的身份以确认,授权、访问与审计。
(6）参考数据和主数据管理:规划、实施和控制活动,以确保特定环境下数值的“黄金版本”。
(7) 数据仓库和商务智能管理:规划、实施与控制过程,给知识工作者们在报告,查询和分析过程中提供数据和技术支持。
(8)文档和内容管理:规划、实施和控制在电子文件和物理记录(包括文本、图形、图像、声音及音像)中发现的数据存储,保护和访问问题。
(9）元数据管理:为获得高质量的、整合的元数据而进行的规划、实施与控制活动。(10）数据质量管理:运用质量管理的技术来衡量、访问、提高和确保使用数据适当性的规划、实施与控制活动。
许多数据管理活动与其他众所周知的信息技术部门的内外职能相重叠。《DAMA 数据管理知识体系指南》并不试图去定义哪些过程与数据管理职能不相关。这本书的唯一的目标是描述数据管理的整个范围及其相关的环境。
这里描述的很多数据管理活动,并不是每一个企业都必须执行的。事实上,很少组织在10个职能的每一项都有规划、政策及项目组。在特定的企业里,某些职能与其他职能相比，至少在某一特定时间,会处于更高的优先级。企业会相应在这些职能里投入更多的注意力、时间和努力,而在其他职能的投入则相对较少。
每个企业对如何实施这些活动大相径庭。每个组织必须确定一个与它的规模、目标、资源以及复杂性相一致的实施方案。不过,数据管理的本质和基本原则在各个企业是一致的。
4.1 数据管理活动
每一项数据管理职能都可以分解为多项管理活动。在少数情况下,这些活动进一步分解成子活动。我们用名词短语来给各个职能命名,用动词短语来给活动和子活动命名。
4.1.1 数据治理
4.1.1.1 数据管理计划
4.1.1.1.1 理解企业数据战略需求
4.1.1.1.2 开发和维护数据战略
4.1.1.1.3 建立数据专业角色和组织
4.1.1.1.4 确定并任命数据管理专员
4.1.1.1.5 建立数据治理和管理制度组织
4.1.1.1.6 制定并审核数据政策、标椎和程序
4.1.1.1.7 审阅和批准数据架构
4.1.1.1.8 计划和发起数据管理项目和服务
4.1.1.1.9 评估数据资产价值和相关成本
4.1.1.2 数据管理控制
4.1.1.2.1 监督数据专业组织和工作人员
4.1.1.2.2 协调数据治理活动
4.1.1.2.3 管理和解决数据相关问题
4.1.1.2.4 监控和确保遵守法律法规
4.1.1.2.5 监控和确保符合数据政策、标准和架构
4.1.1.2.6 监督数据管理项目和服务
4.1.1.2.7 沟通和宣传数据资产的价值
4.1.2 数据架构管理
4.1.2.1 理解企业信息需求
4.1.2.2 开发和维护企业数据模型
4.1.2.3 分析和配合其他业务模型
4.1.2.4 定义和维护数据技术架构
4.1.2.5 定义和维护数据整合架构
4.1.2.6 定义和维护数据仓库/商务智能架构
4.1.2.7 定义并维护企业分类和命名空间
4.1.2.8 定义和维护元数据架构
4.1.3 数据开发
4.1.3.1 数据建模、分析和解决方案设计
4.1.3.1.1 分析信息需求
4.1.3.1.2 开发并维护概念数据模型
4.1.3.1.3 开发并维护逻辑数据模型
4.1.3.1.3 开发并维护物理数据模型
4.1.3.2 详细的数据设计
4.1.3.2.1 设计物理数据库
4.1.3.2.2 设计信息产品
4.1.3.2.3 设计数据访问服务
4.1.3.2.4 设计数据整合服务
4.1.3.3 数据模型和设计质量管理
4.1.3.3.1 开发数据模型和数据库设计标准
4.1.3.3.2 审阅数据模型和数据库设计质量
4.1.3.3.3 管理数据模型版本和整合
4.1.3.4 数据项目实施
4.1.3.4.1 实施开发和测试数据库的变更
4.1.3.4.2 建立和维护测试数据
4.1.3.4.3 迁移和转换数据
4.1.3.4.4 建立和测试信息产品
4.1.3.4.5 建立和测试数据访问服务
4.1.3.4.6 建立和测试数据整合服务
4.1.3.4.7 验证信息需求
4.1.3.4.8 准备部署数据
4.1.4 数据操作管理
4.1.4.1 数据库支持
4.1.4.1.1 实施和控制数据库环境
4.1.4.1.2 获取来自外部的数据
4.1.4.1.3 规划数据恢复
4.1.4.1.4 备份和恢复数据
4.1.4.1.5 确定数据库性能服务水平等级
4.1.4.1.6 监控并调整数据库性能
4.1.4.1.7 规划数据留存方案
4.1.4.1.8 存档、留存和清除数据
4.1.4.1.9 支持专用数据库
4.1.4.2 数据技术管理
4.1.4.2.1 理解数据技术需求
4.1.4.2.2 定义和维护数据技术架构
4.1.4.2.3 评估数据技术
4.1.4.2.4 安装和管理数据技术
4.1.4.2.5 备案和跟踪数据技术使用许可
4.1.4.2.6 支持数据库技术使用问题
4.1.5 数据安全管理
4.1.5.1 理解数据安全需求及监管要求
4.1.5.2 定义数据安全策略
4.1.5.3 定义数据安全标准
4.1.5.4 定义数据安全控制及措施
4.1.5.5 管理用户。密码和用户组成员
4.1.5.6 管理数据访问视图与权限
4.1.5.7 监控用户身份认证与访问行为
4.1.5.8 划分信息密级
4.1.5.9 审计数据安全
4.1.6 参考数据和主数据管理
4.1.6.1 理解参考数据和主数据的整合需求
4.1.6.2 识别参考数据和主数据的来源及贡献者
4.1.6.3 定义和维护数据整合架构
4.1.6.4 实施参考数据和主数据解决方案
4.1.6.5 定义和维护数据匹配规则
4.1.6.6 建立“黄金版本”记录
4.1.6.7 定义和维护数据层次及关联关系
4.1.6.8 计划和实施新数据源的整合
4.1.6.9 复制和分发参考数据和主数据
4.1.6.10 管理参考数据和主数据的变更
4.1.7 数据仓库和商务智能管理
4.1.7.1 理解商务智能的信息需求
4.1.7.2 定义和维护数据仓库/商务智能架构
4.1.7.3 实施数据仓库和数据集市
4.1.7.4 实施商务智能工具和用户界面
4.1.7.5 处理商务智能所需数据
4.1.7.6 监控并处理数据仓库的处理过程
4.1.7.7 监控并调整商务智能活动和性能
4.1.8 文档和内容管理
4.1.8.1 文档/档案管理
4.1.8.1.1 规划文档/档案管理
4.1.8.1.2 实现文档/档案管理系统的获取、存储、访问与安全控制
4.1.8.1.3 备份和恢复文档/档案
4.1.8.1.4 保留和转储文档/档案
4.1.8.1.5 审计文档/档案管理
4.1.8.2 内容管理
4.1.8.2.1 定义并维护企业分类和命名空间
4.1.8.2.2 建立信息内容元数据的文档/索引
4.1.8.2.3 提供内容访问和索引
4.1.8.2.4 治理信息内容的质量
4.1.9 元数据管理
4.1.9.1 理解元数据的需求
4.1.9.2 定义和维护元数据架构
4.1.9.3 开发和维护元数据标准
4.1.9.4 实现受控的元数据管理环境
4.1.9.5 创建和维护元数据
4.1.9.6 整合元数据
4.1.9.7 管理元数据存储库
4.1.9.8 分发和交付元数据
4.1.9.9 查询、报告和分析元数据
4.1.10 数据质量管理（DQM）
4.1.10.1 建立和提升数据质量意识
4.1.10.2 定义数据质量需求
4.1.10.3 剖析、分析和评估数据质量
4.1.10.4 定义数据质量测量指标
4.1.10.5 定义数据质量业务规则
4.1.10.6 测试和验证数据质量需求
4.1.10.7 确定并评估数据质量服务水平
4.1.10.8 持续衡量和监控数据质量
4.1.10.9 管理数据质量问题
4.1.10.10 清洗并纠正数据质量缺陷
4.1.10.11 设计并实施数据质量管理操作程序
4.1.10.12 监控数据质量管理的操作程序和绩效
4.2 活动组
数据管理的每项活动均属于以下4个活动组之一。
• 计划性活动(P)——为其他数据管理活动设置战略和战术路线的活动。规划性活动可以是一项经常性活动。
• 开发性活动(D)——在项目实施过程中所开展的活动,也被认为是系统开发生命周期(SDLC)的一部分,通过分析、设计,构建,测试、准备和部署等方式创建数据交付物。
• 控制性活动(C)——一项持续进行的监督活动。
• 操作性活动(O)——一项持续进行的服务和支持活动。
每个数据管理活动可归属于一个或多个数据管理活动集,如表2.1所示。
五、关联图概述
在本指南中的每个关联图的顶部都包含了该职能的定义和一系列目标。在每个图的中心位置列出了该职能的相关活动,在某些情况下,还列出了子活动。每章深入介绍了这些活动及其子活动。
在包围每个中心活动的框外有几个列表。左侧(流人活动)是输人,供应商和参与者。框下面的列表是用于活动的工具。右侧(流出活动)的列表是主要交付物、消费者,有时也包括相应的度量指标。
这些列表包括了符合其主题的条目,它不是一个完整详尽的列表,其中的一些条目不适用于所有组织。这些列表是用来作为背景框架,并会随着数据管理行业的成长和成熟而逐渐改进。
为了便于比较,对各个职能列表中的所有内容都分类收集在本指南的附录中。
5.1 供给者
供给者是负责提供活动投入的实体。一些供给者涉及多个数据管理职能。数据管理的供给者一般包括管理人员、数据创建者,外部来源以及监管机构等。各个数据管理职能的供给者都汇总于附录A.1。
5.2 输入
输人是每个职能都需要的具体内容,以启动相应的活动。某些输入常用于多个职能过程中。数据管理的输人一般包括企业战略、业务活动、IT活动和数据问题等。各个数据管理职能的输入都汇总于附录A.2。
5.3 参与者
参与者参与了数据管理的过程,但他们不一定直接参与或承担责任。可能有多个参与者会参与多种不同的职能。数据管理的参与者一般包括数据的创建者,信息消费者,数据管理专员,数据管理专业人员和高级管理人员。各个数据管理职能的参与者都汇总于附录A.3。
5.4 工具
数据管理专业人员使用工具来执行相应职能活动。一些工具常用于多种职能中。数据管理工具一般包括数据建模工具,数据库管理系统、数据整合和质量工具,商务智能工具、文档管理工具以及元数据存储库工具等。各个数据管理职能使用的工具都汇总于附录A.4。
5.5 主要交付物
主要交付物是各个职能过程创造的具体实在的东西。一些主要的交付物常由多项职能联合创建。数据管理的主要交付物一般包括数据战略、数据架构、数据服务,数据库和数据、信息﹑知识和智慧等。显然,数据管理的10项职能要合作起来提供这8项交付成果。各个数据管理职能的主要交付物都汇总于附录A.5。
5.6 消费者
消费者是指那些由数据管理活动创造的主要交付物的受益者,消费者常受益于多项职能。数据管理交付物的消费者一般包括文职工作者、知识工作者、经理、主管和客户。各个数据管理职能的消费者都汇总于附录A.6。
5.7 测量指标
指标用于衡量各个职能负责的创建工作绩效情况。某些指标可用于衡量多种职能绩效，有些管理职能在此版指南出版时还没有确定的相应的指标。数据管理的指标包括数据价值指标、数据质量指标和数据管理方案指标等。各个数据管理职能的指标都汇总于附录A.7。
六、角色
数据管理中在人员方面主要涉及到组织架构和角色定义。许多组织和个人都参与了数据管理。每个公司都有不同的需求和优先级。因此,每个公司都有不同的方法来决定组织和个人的角色和职责,以实现数据管理的职能和活动。这里提供的是一些最常见的组织类别和个人角色的概要描述。
供给者、参与者和消费者,正如在关联图中提到的,可能涉及一个或多个数据管理组织，并可能承担一个或多个单独的角色。确定和定义所有可能的供给者、参与者和消费者,以及所有适用的角色和组织,超越了该项工作的范围。但是,仍然可以就组织和个人角色的大体类型做概要论述。
6.1 组织类型
表2.2包括了数据管理组织最常见类型的说明。
6.2 个人角色类型
表2.3包含了许多个人可能参与数据管理活动的角色总结。
七、技术
在技术这一节,确定并定义了与数据管理相关的技术类别。技术在每一章中都是在提及特定工具时才会做相应的描述。
7.1 软件产品类别
附录A.8介绍了从数据管理角度最常用的软件产品分类。
7.2 专用硬件
虽然大多数数据技术是在通用硬件上运行的软件,偶尔也使用专用硬件来支持独特的数据管理要求。专用硬件类型包括如下两种。
• 并行处理计算机—--通常用于支持海量数据库(VLDB)。有两种常见的并行处理架构:对称多过程处理(SMP)和大规模并行处理(MPP)。
• 数据设备-为数据转换和分配所建的特殊服务器。这些服务器可以以直接插件的方式或网络连接外围设备的方式与已有基础设施相连接。
文末说明：参考书籍来自《DAMA数据管理知识体系指南》
