数据管理框架：定义、原因以及实施（转载）
我们，数据管理专业人员，经常使用术语“数据管理框架”。但是我们对它的含义和实现它的各种方法是否都具有相同的理解？
在本文中，我们将
- 讨论现有的数据管理框架
- 呈现各种框架的使用情况
- 定义术语“数据管理框架”。
- 说明建立数据管理框架的通用方法
现有的数据管理框架
DAMA 数据管理知识体系指南和 DCAM TM（数据管理能力评估模型）都将自己定义为数据管理框架 (DMF)。让我们简单探讨一下他们各自对数据管理框架的理解。
DAMA-DMBOK 2
DAMA-DMBOK2 规定“ DAMA 数据管理框架 […] 为数据管理专业人员在各种数据管理知识领域开展的工作提供了背景。” 我对这个定义的主要关注如下：在数据管理领域开展工作的不仅是数据管理专业人员；商业专业人士也参与其中。
DAMA-DMBOK2 定义了三个用于可视化其框架的关键图表：“ DAMA 轮、环境因素六边形、知识领域背景图”。我们知道 DAMA-DMBOK2 确定了构成数据管理的 11 个知识领域。挑战在于这些知识领域在逻辑上是相互联系和相互关联的。公司在规划和确定数据管理框架的实施范围时需要考虑这些依赖性。如果不实施其他几种数据管理功能（如数据治理、数据建模、信息系统架构等），就无法实施数据质量。其中的声明：“现有的DAMA Data Management框架中没有任何一个部分描述了不同知识领域之间的关系，”完全贬低了DAMA-DMBOK2的实际应用价值。
DCAM TM
虽然 DAMA-DMBOK2 是一个公开可用的资源，但 DCAM TM对公众开放：只有企业数据管理委员会成员可以访问本指南。最近，EDC 提供了“云数据管理能力框架”供免费下载。本文档公开了 EDM 委员会定义框架所采用的方法。首先，EDM 委员会框架是Data Management Capability Assessment Framework。它根据具有不同成熟度级别的不同功能来描述数据管理。业务能力的解释与 The Open Group 使用的术语有很大不同。即使 EDM 委员会框架具有实用性和可操作性的重点，它仍然缺乏对数据管理实施的综合观点。
这两个框架在概念上存在差异，如表 1 所示。
表 1：DAMA-DMBOK2 和 DCAMTM 数据管理框架之间的概念差异。
数据管理模块的性质可能有很大差异。DAMA-DMBOK2 使用知识领域，而 DCAMTM 使用组件/功能/子功能。构建模块的数量和它们的内容也可以有显着差异。此外，即使是具有相同名称的构建块，其内容和可交付成果也可能存在显着差异。我对比了这两个指南并在系列文章中描述了它们模型之间的差异：“ DAMA-DMBOK2 vs DCAM® .2- 选择哪个框架？”
在实践中，这些差异意味着：使用这两种不同指南的两家公司将具有不同的数据管理形式，并且它们的数据管理框架将无法比较。
在我看来，这两个框架还有一个相似的缺点：它们没有考虑数据生命周期概念所表达的数据的动态特性，因此在多个数据链中实现。
各种框架的使用统计
我在 LinkedIn 上进行了两次相同的民意调查——相隔一年。图 1 显示了投票结果。
图 1：各种数据管理框架的使用。
基于结果，我得出了一个“明显”的结论，即 DAMA-DMBOK2 可以被认为是领先的数据管理框架。值得注意的是，25% 的受访者声称已经开发了新的或调整了现有的框架。在采访了受访者之后，我意识到我的结论是不准确的。使用 DAMA-DMBOK2 的受访者仍然对该框架进行重大调整，以使其适应公司的实践。因此，似乎每个实施数据管理框架的公司都应该在某种程度上“重新发明轮子”。
数据管理框架：什么和为什么？
每家公司都以一种或另一种方式管理数据。数据管理（DM）的实施意味着建立数据管理功能作为公司组织结构的一部分。为此，公司需要开发和实施数据管理框架。在这种情况下，数据管理框架 (DMF) 是一组相互关联的组件，它们将数据管理塑造成业务功能。DMF 由许多组件组成并用于多种用途，如图 2 所示：
图 2：数据管理框架的定义。
关键组成部分是模型和方法。一组数据管理功能是模型的一个示例。方法是关于如何做某事的解释或指南。在这方面，与数据管理框架相关的所有文档，例如策略、标准等，都是方法的示例。
数据管理框架有四个目的：设计、实施、衡量成熟度和评估数据管理功能的性能。
我们可以在不同的组织级别描述和定义数据管理和数据管理功能：战略、运营和功能。数据管理框架应根据其应用的组织级别提供不同的模型和方法。表 2 说明了 Data Crossroads 的“Orange”数据管理框架的内容。
表 2：按组织级别划分的“橙色”数据管理框架的内容。
我在一系列文章中描述了这个框架：“数据管理的‘橙色’模型”。有关更多详细信息，您可以参阅我的新书“'橙色'数据管理框架：成熟度和性能的设计、实施和测量”。A Practitioner's Guide”，将于 2022 年 5 月出版。
在本书中，我们回答了两个问题：什么是数据管理框架，为什么公司需要一个？让我们探索一种实现方法。
数据管理框架：如何实施？
无论选择何种数据管理框架，公司都应执行类似的步骤来建立数据管理功能。图 3 标识了这些步骤：
图 3：建立数据管理功能的 7 步方法。
这些步骤假定所选的数据管理框架可以帮助设计、实施和衡量数据管理功能的成熟度和性能。
第 1 步：确定数据管理框架和数据管理功能的范围
所需数据管理功能的范围因公司而异，并取决于许多因素。关键规则是定义的范围应满足公司的需求和资源。公司在建立正式的数据管理职能时应考虑的因素是：
- 业务驱动力
业务驱动力是公司启动此类计划的原因。公司应该考虑来自外部和内部环境的业务因素。
最常见的驱动因素是各种法规（即 GDRP）和业务变化（即数字化转型和实施 AI/ML 解决方案以改善客户体验）。 - 不同利益相关者的需求
- 业务驱动因素确定利益相关者。利益相关者可以是外部的，也可以是内部的。不同的利益相关者对数据管理计划会有不同的、有时是有争议的需求和期望。假设一家公司决定启动数字化转型解决方案。一次性将所有业务流程数字化是不可能的，因为这需要大量投资。金融和商业部门会有不同的动机。财务部门希望提高效率和生产力，而商务部门则专注于通过改善客户体验来增加收入。
- “企业”范围
公司可以开始在整个组织或仅针对某些业务部门实施数据管理功能。最佳方法取决于所选的业务驱动因素。 - 所需的数据管理功能集
数据管理是一门多功能学科。为了满足特定驱动程序的要求，公司可能需要不同的功能。常见的基本数据管理能力是数据治理、数据建模、数据和应用程序架构以及数据质量。
第 2 步：执行初步成熟度评估
每家公司都以一种或另一种方式管理数据。这意味着公司内部已经存在一些数据管理功能，即使它没有正式的数据管理功能。初步成熟度评估允许评估现有能力并识别潜在差距。
第 3 步：设计数据（管理）战略和路线图
根据步骤 2 中的差距分析结果，公司应确定其数据管理的中长期战略愿景。“Orange”DMF 将战略和路线图确定为规划文件。
第 4 步：设计数据管理功能
根据所选的框架，公司应该设计所需的功能。“橙色”DMF 将能力定义为公司实现目标或交付成果的能力。六个维度构成了每个数据管理能力，如图4所示。
图 4：数据管理能力的六个维度。
设计从确定所需的可交付成果开始。为了产生可交付成果，公司应该有政策、标准和其他监管文件。流程有助于遵守法规。执行流程需要角色。工具使流程成为可能。当然，公司必须有预算来建立能力。
第 5 步：实施数据管理框架
实施数据管理框架的最佳方法因公司而异，取决于公司的业务驱动因素、规模和可用资源。“橙色”DMF 确定了三种关键方法：集中式、分散式和混合式。每种方法都有其优点和缺点，适用于不同的情况。
第 6 步：执行详细的成熟度评估
企业应该在能力维度和项目的细粒度层面进行详细的成熟度评估，例如流程、政策等层面。这种方法允许制定详细的短期计划。它还有助于建立关键绩效指标 (KPI) 系统。
第 7 步：建立 KPI 系统
公司应该设置两种KPI：一种衡量数据管理能力建设的进度，另一种衡量运营效率。可以在各种抽象级别设置 KPI。
我想通过评估我们讨论的每个数据管理框架服务于以下四个目的的能力来结束本文：设计、实施、衡量成熟度和衡量数据管理功能的性能。在表 3 中，我分享了我对这三个框架的评估：
表 3：三个框架的比较。
这三个框架可以用来设计一个数据管理框架。DAMA-DMBOK2 和 DCAM TM 2.2 都缺乏集成的实现方法。虽然 DAMA-DMBOK2 提供了有关成熟度评估的指南，但 DCAM TM 2.2 最初是作为成熟度评估方法开发的。DAMA-DMBOK2 为每个知识领域提供指标，而 DCAM TM 2.2 允许创建此类指标。
如果您对我们在本文中讨论的内容有其他意见，我将不胜感激。
补充：数据管理就是国内常说的“企业数据化治理”的内容，数据管理框架是数据管理实施的框架文件。
数据管理和数据科学的关系：
组织的数据管理职能全面控制企业数据的获取、存储、质量、治理和完整性，从而监督该组织内所有数据相关政策的制定和实施。但是，数据管理团队只管理数据资产，它通常不参与数据的核心技术应用。另一方面，组织中的数据科学职能部门对数据资产的所有 "技术应用 "进行构思、开发、实施和实践。在这个意义上，"技术应用 "意味着涉及企业数据的科学、技术、工艺和业务实践。
数据科学团队从不拥有任何数据，他们只是收集、存储、处理、分析数据--然后向企业其他部门报告数据驱动的成果，以获得业务收益。数据科学家被认为是数据科学和相关技术的专家，他们依靠高度专业化的知识（统计学、计算机科学、人工智能等知识）为企业提供数据驱动实践的建议。在实际工作中，数据科学职能隶属于组织的数据管理职能。数据科学团队为组织带来了一套核心技术技能，以实施数据管理政策、程序和准则所规定的最佳实践。
转载：Data Management Framework: What, Why, and How?
