引论

一、数据：企业资产

　　数据和信息是21世纪的经济命脉。在信息时代,数据被认为是一项重要的企业资产。

　　资金和人才长期以来被认为是企业的资产。资产是个人或组织控制的有价值资源。企业资产有助于实现企业的目标,因此需要被精心管理。获得和使用这些资产应该经过仔细控制,而企业对于这些资产的投入可有效地用于实现企业目标。

　　数据以及从数据产生的信息﹐目前已经被公认为是企业的资产。

　　离开高质量的数据,没有哪一个企业仍然可以高效运行。在今天v各个组织都依赖于它们的数据资产以做出更明智和更有效的决策。市场领导者正在利用他们手中的数据资产，通过丰富的客户资料,信息的创新使用和高效的运营来获得竞争优势。企业通过使用数据，以提供更好的产品和服务,降低成本,控制风险。政府,教育机构以及非营利组织也需要高质量的数据来指导其日常运营,战术和战略活动。随着企业对数据需求的不断增长,以及企业对数据的依赖性不断增强,人们可以越来越清楚地评估数据资产的商业价值。

　　目前,世界上的数据量正在以惊人的速度增长。据加州大学伯克利分校的研究人员估计,世界上每年产生10～20亿字节的数据。似乎,我们正淹没在信息的海洋中。

　　然而,面对许多重要决定,我们仍然面临着信息鸿沟——我们已知的信息和我们做出有效决策所需的信息之间存在着巨大差距。信息鸿沟代表了一种不利因素﹐并可能对企业的经营效益和营利能力产生深远的影响。

　　每一个企业都需要有效地管理其日益重要的数据和信息资源。通过业务领导和技术专家的合作,数据管理职能可以有效地提供和控制数据和信息资产。

二、数据、信息、知识

　　数据是以文本,数字﹑图形、图像、声音和视频等格式对事实进行表现。从技术上讲,数据(Data)是数据(Datum)---词的拉丁语的复数形式,这意味着,数据本身是“一个事实”。然而,人们通常把它当作单数术语使用,对事实进行获取、存储和表达即形成数据。

　　信息是指有上下文的数据。没有上下文的数据是没有意义的,我们通过上下文解释数据来产生有意义的信息。上下文包括:

　　　　(1)数据元素和相关术语的业务含义。

　　　　(2）数据表达的格式。

　　　　(3)数据所处的时间范围。

　　　　(4)数据与特定用法的相关性。

　　数据是一些原始材料,我们作为消费者不断解释数据,从而创造出信息,如图1.1所示。由此产生的信息,再指导我们下一步的决定。

　　官方认定或被广泛接受其含义的常用术语也代表了宝贵的企业资源,有助于促进对含义丰富信息的共同理解。数据定义只是元数据(关于数据的数据)的一种类型。元数据,包括业务数据定义,帮助确立了数据的上下文,因此管理元数据直接有助于提高信息的质量。管理信息资产包括数据管理和与其相关的元数据管理。

　　信息有助于知识的产生。知识是对情境的理解、意识,认知、识别,以及对其复杂性的把握。知识是基于某一角度的信息整合形成的一种观点。这种观点是基于对模式(例如由其他信息和经验形成的趋势)的承认和解释。知识还可能还包括假设和有关推理的理论。知识可以是显式的,为企业或社会所承认为真的,也可以是隐形的─一—存在于个人的大脑里。当我们认识到信息的意义时,我们就获得了知识。

　　就像数据和信息,知识也是一个企业的资源。知识工作者通过理解信息以获得专业知识,然后应用专业知识来做出明智的决策和行动。知识工作者可能是专家,经理或执行官们。一个学习型组织是由一群积极寻求提高其集体知识和智慧的知识工作者组成的。

　　知识管理是一门学科,它促进了组织学习,并将知识产权作为企业资源来管理。无论知识管理,还是数据管理,都依赖于高质量的数据和信息。知识管理是与数据管理密切相关的学科,尽管在本书中,它已超出数据管理的考虑范围。

　　数据是信息、知识,才智和行动的基础。数据是真理吗?未必!数据可能不准确、不完整,过时或被误解。几个世纪以来,哲学家们问:“什么是真理?”答案仍然遥不可及。在实践层面,真理是在一定程度上最高质量的信息一―数据是可用的、相关的、完整的、准确的、一致的,及时的、实用的、有意义的和能被理解的。认识到数据价值的组织可以采取具体的、积极的措施来提高数据和信息的质量。

三、数据生命周期

　　如同任何其他资产一样,数据资产也具有生命周期,企业管理数据资产,就是管理数据的生命周期。数据先被创建或获得,然后存储、维护和使用,最终被销毁。在其生命过程中，数据可能被提取、导入、导出,迁移、验证、编辑、更新、清洗、转型,转换、整合、隔离,汇总、引用、评审、报告、分析、挖掘、备份、恢复、归档和检索,然后最终被删除。

　　数据是流动的。数据在其存储空间流进和流出,并被包装在信息产品中交付使用。它以结构化的格式存储在数据库、平面文件、有标记的电子文件中,数据也存在于许多不甚严谨的格式中,例如:电子邮件,其他格式的电子文件、纸质文件,电子表格、报表,图形、电子图像文件,以及音频和视频录音等。通常情况下,80%企业的数据资产以非结构化格式存储。

　　数据的价值通常体现在实际使用中,也可能是在未来才有用。数据生命周期的所有阶段都有相关的成本和风险,但只有在“使用"阶段,数据才增加了商业价值。

　　有效的数据管理是指数据的生命周期开始于数据获取之前,企业先期制定数据规划,定义数据规范,以期获得实现数据采集、交付、存储和控制所需的技术能力。

　　通常,系统开发项目完成了数据规范,启动了数据生命周期以及若干数据规划。如图1.2所示,系统开发的生命周期(SDLC)不同于数据的生命周期。SDLC描述了一个项目的各个阶段,而数据生命周期描述了数据资产的管理过程。

　　然而,这两个生命周期是密切相关的,因为数据规划,规范和启动活动都是SDLC 的有机组成部分。其他SDLC的活动从本质上讲是操作型或监督型的活动。

四、数据管理职能

　　数据管理(DM)是规划,控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目.流程、方法和程序,从而控制、保护、交付和提高数据和信息资产的价值。

　　数据管理还有许多其他的称谓,包括:

　　　　• 信息管理(IM).

　　　　• 企业信息管理(EIM)。

　　　　• 企业数据管理(EDM)。

　　　　• 数据资源管理(DRM)。

　　　　• 信息资源管理(IRM)。

　　　　• 信息资产管理(IAM).

　　以上这些称谓通常都认为是数据管理的同义词,但本书采用数据管理这个术语。

　　我们常常在这些职能名称中包含“企业”这个词,目的是强调数据管理工作立足于整个企业范围,例如,企业信息管理或企业数据管理。所推荐的最佳实践也是在企业范围内进行数据管理。然而,即使没有在整个企业范围内推行,数据管理也可以在局部环境中有效地进行,但这一做法所产生的商业利益相对要少一些。

　　数据管理职能通常包括了数据库管理(Database Administration)——数据库设计、实施和产品支持,以及数据管理(Data Administration)的职能。数据管理(Data Administration)这个词曾经是一个通俗的说法,指除数据库管理外所有的数据管理职能。然而,随着数据管理职能的成熟,人们已经更好地理解了它的具体组成部分。不论企业规模和目标如何不同,数据管理职能对其而言都是非常重要的。

　　数据管理职能和实施规模范围因组织的规模、理念和经验的不同而有很大的区别。但即便实施细则有很大的差异,各个组织的数据管理本质仍然是一样的。

五、共同的责任

　　数据管理是信息技术(IT)组织的数据管理专业人员(Data Management Professional)和业务数据管理专员(Business Data Steward)之间共同的责任,它们代表了数据生产者和信息消费者的集体利益。数据管理专员充当数据授权委托人。数据管理专业人员担任这些数据资产的专家监护人和技术托管人。

　　数据管理制度(Data Stewardship)是数据管理过程中赋予各部门责任的问责制度。数据管理专员通常是由相关领域公认的领域专家和业务领导担任,代表了其组织的数据利益，并承担了数据质量和使用方面的责任。优秀的管理人员精心保护、投资,并充分利用托管给他们的数据资源。数据管理专员通过保证数据及其元数据质量来确保数据资源满足业务需求。他们之间相互协作,并通过与数据管理专员的合作关系,执行数据管理制度要求的活动和职责。

　　数据管理专业人士作为技术专家经营数据资产,就像银行员工和基金经理,为其所有者和托管人的金融资产担任专业管理人。与数据管理专员负责监督数据资产不同,数据管理专业人员行使技术职能,保障及促使企业数据资产的有效利用。数据管理专业人员一-般就职于信息技术部门的数据管理服务机构(Data Management Service Organization)。

　　数据是在信息技术基础设施和应用系统间流动的内容。信息技术获取、存储、处理和提供数据。IT基础设施和应用系统是数据流经的“管道”。由于技术变革,数据量在过去五十多年呈爆炸式增长,传统上,IT组织主要注重于维持一个现代的、有效的硬件和软件基础设施,以及基于基础设施的健壮应用系统组合。大多数IT机构都不太注重流经这些基础设施和系统中数据内容的结构、意义以及质量。然而,越来越多的IT执行官们和业务领导们已经认识到数据管理的重要性,也非常需要有效的数据管理服务组织。

六、广泛的范围

　　总体来说,如图 1.3所示,数据管理包括十大职能。

　　　　• 数据治理——在数据管理和使用层面之上进行规划、监督和控制

　　　　• 数据架构管理——定义数据资产管理蓝图。

　　　　• 数据开发——数据的分析.设计、实施.测试、部署、维护等工作.

　　　　• 数据操作管理——提供从数据获取到清除的技术支持。

　　　　• 数据安全管理——确保隐私、保密性和适当的访问权限等。

　　　　• 数据质量管理——定义,监控和提高数据质量。

　　　　• 参考数据和主数据管理——管理数据的黄金版本和副本。

　　　　• 数据仓库和商务智能管理——实现报告和分析。

　　　　• 文档和内容管理——管理数据库以外的数据。

　　　　• 元数据管理——元数据的整合.控制以及提供元数据。

七、一个新兴的行业

　　资金管理和人力资源管理已经发展了很多年,目前已十分成熟。但数据管理作为一个相对较新的行业,相关的概念和实践正在迅速发展中。

　　在IT界,数据管理正在成为一个新兴职业，即要求一定专业知识和技能的工作。专门的数据管理角色需要独特的技能和丰富经验的判断。今天的数据管理专业人士对管理数据资产表现出非同寻常的感召力和使命感。

　　创建一个正式的、经过认证的、被认可的和令人尊重的数据管理职业是一个具有挑战性的过程。目前的环境是一个术语,方法、工具、意见和炒作相混杂的混合物。要形成一个公认的标准的数据管理行业,需要一些行业标准的制定:标准的术语和定义、流程和做法,角色和责任、可交付的产品或服务,以及度量的标准等。

　　标准和公认的最佳实践可以提高数据管理专员和数据管理专业人员的绩效。此外,标准有助于我们与同事、管理者和执行官们进行交流。管理人员,尤其是执行官们,需要充分理解和遵循基本的数据管理原则,以便提供有效的资金、人员和管理职能方面的支持。

八、逐步完善的知识体系

　　新兴职业的标志之一是有公认的知识体系指南的出版。“知识体系”是指那些在某一专业领域被普遍接受认可的东西。虽然整个知识体系可能会很庞大,且处于不断发展演化中,但知识体系指南手册通常介绍体系中的标准术语和最佳实践。

九、DAMA——数据管理写会

　　数据管理协会(DAMA国际)是全球首个数据管理专业人士组织。DAMA 国际是一个国际性非营利性会员组织,在世界范围内拥有40余个分会和超过7500个成员。其目的是为了支持业务战略,增进对数据和信息管理的了解,促进其发展,推广其实践。

　　DAMA基金会(DAMA Foundation)是 DAMA下设的研究教育机构,致力于数据管理行业的发展,促进把数据和信息作为企业资产来管理的观念和实践的进步。

　　DAMA国际和DAMA 基金会(统称为DAMA),共同的使命是带领数据管理行业走向成熟。DAMA 独立于任何特定的供应商、技术和方法,促进对数据信息管理以及把知识作为企业的重要资产的理解,发展和实践。

　　DAMA国际在多个方面推动数据管理行业的成熟。这些努力包括:

　　　　• DAMA国际每年举行DAMA国际研讨会,现与 Wilshire 会议合作举办“企业数据世界(Enterprise Data World)”大会,这是世界上最大规模的数据管理行业会议。通过讲习班、辅导以及研讨会的分会活动,向数据管理专业人员提供继续教育。

　　　　• DAMA国际每年在欧洲与IRMUK 联合举办的DAMA国际欧洲研讨会(DAMAInternational Conference Europe),目前是欧洲最大规模的专业数据管理会议。通过讲习班,辅导以及研讨会的分会活动,向数据管理专业人员提供继续教育。

　　　　• DAMA国际提供专业认证的方案,与计算机专业人士认证协会(ICCP)合作,开发数据管理专业人士(CDMP)认证。CDMP认证考试也用于由数据仓库研究院(TDWI)开发的商务智能专业认证(CBIP)方案。

　　　　• DAMA 国际教育委员会的数据管理课程框架,对于美国和加拿大高校采用北美教育模式的IT和 MIS课程中如何对数据管理部分进行教学提供了指导。

十、本指南的目的

　　DAMA国际撰写《DAMA 数据管理知识体系指南》即《DAMA-DMBOK指南》)一书，以期进一步推动数据管理行业的发展。本指南的目的是为数据管理科学提供明确的概述。

　　没有一本书能够描述整个知识体系。本《DAMA-DMBOK指南》并不试图成为数据管理的百科全书,或是就所有数据管理相关事情的全面论述。相反,本指南简要介绍了数据管理相关概念,并确定了数据的管理目标、职能和活动的主要交付成果、角色,原则、技术和组织文化方面的问题。它简要介绍了被人们普遍接受的良好规范以及重要的可选方法。

十一、本指南的目标

　　作为一个定义性的介绍,《DAMA-DMBOK指南》的目标是:

　　　　(1)对数据管理职能,达成一个普遍适用的看法共识。

　　　　(2）提供常用的数据管理职能、交付成果、角色和其他术语标准的定义。

　　　　(3)确定数据管理的指导原则。

　　　　(4）概述普遍接受的良好实践、广泛采用的方法和技术以及重要的可选办法,指南中不涉及具体的技术供应商或产品。

　　　　(5）简明扼要地识别共同的组织和文化问题。

　　　　(6）澄清数据管理的范围和界限。

　　　　(7）引导读者接触更多的资源来加强对数据管理的理解。

十二、本指南的对象

　　《DAMA-DMBOK指南》的目标读者群体包括:

　　　　• 经过认证的和有抱负的数据管理专业人士。

　　　　• 与数据管理专业人士一起工作的其他IT专业人士。

　　　　• 各种类型的数据管理专员。

　　　　• 有兴趣把数据作为企业资产来管理的执行官。

　　　　• 对于数据的认识已上升到企业资产高度的知识工作者。

　　　　• 评估及帮助提高客户数据管理职能的顾问。

　　　　• 负责开发和提供数据管理课程的教育工作者。

　　　　• 数据管理领域的研究人员。

十三、本指南的用途

　　DAMA国际预期《DAMA-DMBOK指南》有如下几个潜在用途,包括:

　　　　• 让不同的读者了解有关数据管理的本质和重要性。

　　　　• 帮助规范数据管理业界的术语及其含义。

　　　　• 帮助数据管理专员和数据管理专业人士了解自己的角色和职责。

　　　　• 提供数据管理有效性和成熟度评估的基础。

　　　　• 指导实施和改进数据管理职能的工作。

　　　　• 为读者了解有关数据管理其他知识来源提供方向。

　　　　• 指导高等教育系统开发和提供数据管理课程内容。

　　　　• 为数据管理领域的进一步研究提供建议。

　　　　• 帮助数据管理专业人士准备CDMP和 CBIP考试。

十四、其他知识体系指南

　　其他一些行业已经出版了相关知识体系的文档。事实上,知识体系文档的存在是一个行业成熟的标志之一(参见第13章)。

　　DAMA-DMBOK主要参照项目管理协会(PMIR)出版《项目管理知识体系指南》(PMBOKR指南)的模式。PMI是项目管理的专业组织。作为其众多服务之一,PMI 提供了项目管理专业人士(PMP)认证程序。

　　其他知识体系的文档包括:

　　　　• 软件工程知识体系指南(SWEBOK),由电气与电子工程师协会(IEEE)出版。IEEE已经开始提供一个软件工程师的认证程序。

　　　　• 商业分析知识体系(BABOK),由国际商业分析研究院出版。

　　　　• 共同知识体系(CBK),由国际信息系统安全认证联盟(ISC)出版。该体系是希望获得信息系统安全专业人士认证(CISSP)指定的参考书籍。

　　　　• 加拿大信息技术知识体系(CITBOK)是由加拿大信息处理协会(CIPS)开展的一个项目,它概述了加拿大信息技术专业人土所需要的知识。

十五、DAMA 数据管理辞典

　　《DAMA数据管理辞典》是《DAMA-DMBOK 指南》的有机补充。最初是作为对《DAMA-DMBOK指南》的扩充词汇而编撰的,由于其规模和商业价值, DAMA国际将其单独出版。该辞典中的术语定义都与它们在《DAMA-DMBOK指南》中的用法一致。在市面上,可以买到此辞典的光盘。

十六、DAMA-DMBOK 职能架构

　　在规划编写《DAMA-DMBOK 指南》的过程中, DAMA国际认识到如下这些需求:

　　　　• 全面和普遍被接受的数据管理职能过程模型,这一模型定义了对数据管理活动的标准看法。我们在第2章中提出了这个过程模型,并在第3章～第12章中做了进一步的阐述。

　　　　• 组织环境因素，包括目标、原则、活动、角色、主要成果、技术、技能、指标和组织架构。

　　　　• 用于在组织文化范围内讨论数据管理各方面问题的标准框架。

　　为满足上述需求,《DAMA-DMBOK职能框架》定义了组织结构大纲,以促进《DAMA-DMBOK指南》内容的一致性。图1.4显示了框架的第3版,列出了数据管理的10个职能，以及每个职能的范围。

　　除了确定的10个数据管理职能,该框架也确定了7个环境要素,如图1.5所示。

　　各环境要素的范围如图1.6所示。

　　基本环境要素包括如下几个方面。

　　　　• 目标和原则——每个职能的方向性业务目标,以及指导每个职能绩效的基本原则。

　　　　• 活动—每个职能都是由低一级的活动组成。有些活动被分为子活动。活动进一步分解成任务和步骤。

　　　　• 主要交付物-—信息、物理数据库及各职能在管理过程中最终输出的文档。有些交付物是必需的,有些是建议性的,还有些则视情况而定可选的。

　　　　• 角色和职责—参与执行和监督职能的业务和IT角色,及其承担相应职能中的具体职责。很多角色都参与数据管理的多个职能。

　　配套的环境要素包括如下几个方面。

　　　　• 实践和方法—一常见和流行的方法,以及交付物的执行过程和步骤。实践和方法也可能包括共同的约定,最佳实践建议及简单描述的可选方案。

　　　　• 技术——配套技术(主要是软件工具)的类别、标准和规程、产品的选择标准和常见的学习曲线。根据DAMA国际的宗旨,不涉及具体的厂商或产品。

　　　　• 组织和文化一这些问题可能包括如下几个方面。

　　　　　　• 管理指标——规模、工作量、时间、成本、质量、成效、效率、成功和商业价值的度量。

　　　　　　• 成功的关键因素。

　　　　　　• 报告的结构。

　　　　　　• 签约策略。

　　　　　　• 预算和相关资源的分配问题。

　　　　　　• 团队和群体动态。

　　　　　　• 权威和授权。

　　　　　　• 共同的价值观和信仰。

　　　　　　• 期望和态度。

　　　　　　• 个人风格和偏好差异。

　　　　　　• 文化仪式,礼节和符号。

　　　　　　• 组织传统。

　　　　　　• 变革管理的建议。

　　《DAMA-DMBOK职能框架》定义了一个二维矩阵,如图1.7所示,其竖轴为数据管理职能的各组成成分,横轴为环境要素。

十七、本指南的结构

　　第1章介绍了:

　　　　• 在信息时代,数据资产的重要性。

　　　　• 数据管理职能。

　　　　• 数据管理专业。

　　　　• DAMA-DMBOK指南的目标。

　　第2章是数据管理的概述,包括:

　　　　• 总体使命、目标以及数据管理效益。

　　　　• 10个数据管理职能的组成活动。

　　　　• 各个职能的主要数据管理交付物。

　　　　• 数据管理的角色。

　　　　• 数据管理技术的类别。

　　　　• 如何在组织中应用 DMBOK 职能框架。

　　第3章~第12章分别阐述了数据管理的10个职能。每个章节都是一个或多个相关领域专家的贡献,包括:

　　　　• 对该职能的简要介绍,包括关键术语的定义、关联图和业务目标列表。

　　　　• 概念和活动的描述,包括相关的交付物、负责的角色和组织,最佳实践、常用程序和方法、配套技术等。

　　　　• 一段综述,包括一个重申指导原则的列表，个重述该职能相关活动,交付物和责任角色的表格,以及关于组织和文化间题的简要讨论。

　　　　• 推荐读物列表,给出了可选读的书籍和文章,以供参考。

　　第13章介绍了数据管理专业,并为数据管理专业人士描述了其个人职业发展的实践活动。

十八、反复出现的主题

　　《DAMA-DMBOK指南》一书中如下这些主题是反复出现的。

　　　　• 数据管理制度—-数据管理的共同合作关系要求每一个职能的数据管理专员持续参与。

　　　　• 数据质量—每个数据管理职能都有助于提高数据资产的质量。

　　　　• 数据整合——每一个数据管理职能都有助于数据整合技术的应用,同时也会从数据整合中获益。企业应尽量减少冗余,整合来自多个源头的数据,并确保与“黄金”版本数据的一致性,控制多余的数据来管理数据资产。

　　　　• 企业视角——在企业中,要尽可能实现管理企业数据资产的一致性。企业信息管理(Enterprise Information Management,EIM)是用于数据管理的最佳实践。

　　　　• 文化变革领导力——在组织内部采纳这些数据管理方法和原则,需要各级领导人的认可和推动。

文末说明：参考书籍来自《DAMA数据管理知识体系指南》