读DAMA数据管理知识体系指南04数据治理(上)
1. 数据治理
1.1. Data Governance, DG
-
1.1.1. 定义是在管理数据资产过程中行使权力和管控,包括计划、监控和实施
-
1.1.2. 数据治理职能是指导所有其他数据管理领域的活
-
1.1.3. 目的是确保根据数据管理制度和最佳实践正确地管理数据
-
1.1.4. 数据管理的整体驱动力是确保组织可以从其数据中获得价值,数据治理聚焦于如何制定有关数据的决策,以及人员和流程在数据方面的行为方式
1.2. 建立了正式的数据治理规程及有意向性地行使权力和管控的组织,能够更好地增加从数据资产中获得的收益
1.3. 内容
-
1.3.1. 战略(Strategy)
- 1.3.1.1. 定义、交流和驱动数据战略和数据治理战略的执行
-
1.3.2. 制度(Policy)
- 1.3.2.1. 设置与数据、元数据管理、访问、使用、安全和质量有关的制度
-
1.3.3. 标准和质量(Standards and Quality)
- 1.3.3.1. 设置和强化数据质量、数据架构标准
-
1.3.4. 监督(Oversight)
- 1.3.4.1. 在质量、制度和数据管理的关键领域提供观察、审计和纠正等措施(通常称为管理职责Stewardship)
-
1.3.5. 合规(Compliance)
- 1.3.5.1. 确保组织可以达到数据相关的监管合规性要求
-
1.3.6. 问题管理(Issue Management)
-
1.3.6.1. 识别、定义、升级和处理问题
1.3.6.1.1. 数据安全、数据访问、数据质量、合规、数据所有权、制度、标准、术语或者数据治理程序等
-
1.3.6.2. 数据管理项目(Data Management Projects)
1.3.6.2.1. 增强提升数据管理实践的努力
-
1.3.6.3. 数据资产估值(Data Asset Valuation)
1.3.6.3.1. 设置标准和流程,以一致的方式定义数据资产的业务价值
-
1.4. 对于多数企业,采用正式的数据治理需要进行组织变革管理,以及得到来自最高层管理者(C级别)的支持,如CRO、CFO或者CDO
1.5. 产生和分享数据、信息的能力改变了个人及经济的互动。在充满活力的市场环境中,随着将数据作为差异化竞争优势的意识提升,促使组织调整数据管理职责
1.6. 对很多组织而言,文化变革是一项主要的挑战
- 1.6.1. 变革管理的基础信条是,组织变革需要个人的改变
2. 业务驱动因素
2.1. 驱动因素是法规遵从性,特别是重点监控行业
2.2. 数据治理是通过其他业务信息化管理需求所驱动的
2.3. 数据治理并不是到此为止,而是需要直接与企业战略保持一致
- 2.3.1. 数据治理越显著地帮助解决组织问题,人们越有可能改变行为、接受数据治理实践
2.4. 驱动因素
-
2.4.1. 减少风险
-
2.4.1.1. 一般性风险管理
2.4.1.1.1. 洞察风险数据对财务或商誉造成的影响,包括对法律(电子举证E-Discovery)和监管问题的响应
-
2.4.1.2. 数据安全
2.4.1.2.1. 通过控制活动保护数据资产,包括可获得性、可用性、完整性、连续性、可审计和数据安全
-
2.4.1.3. 隐私
2.4.1.3.1. 通过制度和合规性监控,控制私人信息、机密信息、个人身份信息(PII)等
-
-
2.4.2. 改进流程
-
2.4.2.1. 法规遵从性
2.4.2.1.1. 有效和持续地响应监管要求的能力
-
2.4.2.2. 数据质量提升
2.4.2.2.1. 通过真实可信的数据提升业务绩效的能力
-
2.4.2.3. 元数据管理
2.4.2.3.1. 建立业务术语表,用于定义和定位组织中的数据;确保组织中数量繁多的元数据被管理和应用
-
2.4.2.4. 项目开发效率
2.4.2.4.1. 在系统生命周期(SDLC)中改进,以解决整个组织的数据管理问题,包括利用数据全周期治理来管理特定数据的技术债
-
2.4.2.5. 供应商管理
2.4.2.5.1. 控制数据处理的合同,包括云存储、外部数据采购、数据产品销售和外包数据运维
-
2.5. 通常将审计、会计与数据治理放在一起比较,审计员和财务主管设置管理财务资产的规则,数据治理专家制定管理数据资产的规则,然后其他领域执行这些规则
2.6. 数据治理不是一次性的行为
-
2.6.1. 治理数据是一个持续性的项目集,以保证组织一直聚焦于能够从数据获得价值和降低有关数据的风险
-
2.6.2. 可以由一个虚拟组织或者有特定职责的实体组织承担数据治理的责任
-
2.6.3. 只有理解了数据治理的规则和活动才能达到高效执行,为此需要建立可运转良好的运营框架
-
2.6.4. 数据治理程序中应该考虑到组织和文化的独特性问题,以及数据管理在组织内面对的具体挑战和机遇
2.7. 数据治理要与IT治理区分开
-
2.7.1. IT治理制定关于IT投资、IT应用组合和IT项目组合的决策,从另一个角度还包括硬件、软件和总体技术架构
-
2.7.2. IT治理的作用是确保IT战略、投资与企业目标、战略的一致性
-
2.7.3. COBIT(Control Objectives for Information and Related Technology)框架提供IT治理标准,但是其中仅有很少部分涉及数据和信息管理
3. 目标和原则
3.1. 数据治理的目标是使组织能够将数据作为资产进行管理
- 3.1.1. 数据治理提供治理原则、制度、流程、整体框架、管理指标,监督数据资产管理,并指导数据管理过程中各层级的活动
3.2. 可持续发展(Sustainable)
-
3.2.1. 治理程序必须富有吸引力
- 3.2.1.1. 它不是以一个项目作为终点,而是一个持续的过程
-
3.2.2. 数据治理必须改变数据的应用和管理方式,但也不代表着组织要作巨大的更新和颠覆
-
3.2.3. 数据治理是超越一次性数据治理组件实施可持续发展路径的管理变革
-
3.2.4. 可持续的数据治理依靠于业务领导、发起者和所有者的支持
3.3. 嵌入式(Embedded)
-
3.3.1. 数据治理不是一个附加管理流程
-
3.3.2. 数据治理活动需要融合软件开发方法、数据分析应用、主数据管理和风险管理
3.4. 可度量(Measured)
- 3.4.1. 数据治理做得好有积极的财务影响,但要证明这一影响,就需要了解起始过程并计划可度量的改进方案
3.5. 实施数据治理规划需要有变革的承诺
3.6. 建立起强大数据治理基础的原则
-
3.6.1. 领导力和战略(Leadership and Strategy)
-
3.6.1.1. 成功的数据治理始于远见卓识和坚定的领导
-
3.6.1.2. 数据战略指导数据管理活动,同时由企业业务战略所驱动
-
-
3.6.2. 业务驱动(Business-driven)
- 3.6.2.1. 数据治理是一项业务管理计划,因此必须管理与数据相关的IT决策,就像管理与数据有关的业务活动一样
-
3.6.3. 共担责任(Shared Responsibility)
- 3.6.3.1. 在所有数据管理的知识领域中,业务数据管理专员和数据管理专业人员共担责任
-
3.6.4. 多层面(Multi-layered)
- 3.6.4.1. 数据治理活动发生在企业层面和各地基层,但通常发生在中间各层面
-
3.6.5. 基于框架(Framework-based)
- 3.6.5.1. 由于治理活动需进行跨组织职能的协调,因此对数据治理项目必须建立一个运营框架来定义各自职责和工作内容
-
3.6.6. 原则导向(Principle-based)
-
3.6.6.1. 指导原则是数据治理活动、特别是数据治理策略的基础
-
3.6.6.2. 随着时间的推移,在组织中会出现更多的指导原则与相关的数据治理组件共同对内部发布
-
4. 基本概念
4.1. 数据治理确保数据被恰当地管理而不是直接管理数据
- 4.1.1. 数据治理相当于将监督和执行的职责分离
4.2. 以数据为中心的组织
-
4.2.1. 以数据为中心的组织将数据作为资产估值,在生命周期所有阶段进行管理,包括项目开发和持续运营阶段
-
4.2.2. 为达到以数据为中心,组织必须改变将战略转化为行动的方式
-
4.2.3. 数据不再被作为是流程和业务产品的附属
-
4.2.4. 业务处理的目标就是为了得到高质量的数据
-
4.2.5. 有效数据管理成为企业致力于通过分析获得洞察、制定决策时的高优先级事项
-
4.2.6. 常常混淆数据和信息技术
-
4.2.6.1. 企业为达到以数据为中心需要进行不同以往的思考方式,要理解管理数据不同于管理IT
-
4.2.6.2. 转型并非易事,现有文化及内部制度、关于拥有权的争议、预算、历史遗留系统,都将成为建立企业级数据治理和数据管理的最大障碍
-
-
4.2.7. 数据应该作为企业资产管理起来
-
4.2.8. 应该在整个组织内鼓励数据管理的最佳实践
-
4.2.9. 企业数据战略必须与业务战略一致
-
4.2.10. 应不断改进数据管理流程
4.3. 数据治理组织
-
4.3.1. 治理项目的核心词是治理
-
4.3.2. 数据治理可以从政治治理的角度来理解
-
4.3.3. 包括立法职能(定义策略、标准和企业架构)、司法职能(问题管理和升级)和执行职能(保护和服务、管理责任)
-
4.3.4. 每个组织都应该采用一个支持其业务战略,并可能在其自身文化背景下取得成功的治理模型
- 4.3.4.1. 组织也应该准备好发展这种模式以迎接新的挑战
-
4.3.5. 数据治理组织还可以具有多个层次,以解决企业内不同级别的问题——本地、部门和企业范围
4.4. 数据治理运营模型类型
4.5. 数据管理职责
-
4.5.1. 数据管理职责(Data Stewardship)描述了数据管理岗位的责任,以确保数据资产得到有效控制和使用
-
4.5.2. 管理职责的焦点因组织不同而不同,取决于组织战略、文化、试图解决的问题、数据管理成熟度水平以及管理项目的形式等因素
-
4.5.3. 创建和管理核心元数据
-
4.5.3.1. 包括业务术语、有效数据值及其他关键元数据的定义和管理
-
4.5.3.2. 通常管理专员负责整理的业务术语表,成为与数据相关的业务术语记录系统
-
-
4.5.4. 记录规则和标准
-
4.5.4.1. 包括业务规则、数据标准及数据质量规则的定义和记录
-
4.5.4.2. 通常基于创建和使用数据的业务流程规范,来满足对高质量数据的期望
-
4.5.4.3. 为确保在组织内部达成共识,由数据管理专员帮助制定规则并确保其得到连贯的应用
-
-
4.5.5. 管理数据质量问题
- 4.5.5.1. 数据管理专员通常参与识别、解决与数据相关的问题,或者促进解决的过程
-
4.5.6. 执行数据治理运营活动
- 4.5.6.1. 数据管理专员有责任确保数据治理制度和计划在日常工作或每一个项目中被遵循执行,并对决策发挥影响力,以支持组织总体目标的方式管理数据
4.6. 数据管理岗位的类型
-
4.6.1. 管理专员(Steward,直译为管家,本书译为管理专员)指其职责是为别人管理财产的人
-
4.6.2. 数据管理专员代表他人的利益并为组织的最佳利益来管理数据资产
-
4.6.2.1. 数据管理专员代表所有相关方的利益,必须从企业的角度来确保企业数据的高质量和有效使用
-
4.6.2.2. 有效的数据管理专员对数据治理活动负责,并有部分时间专门从事这些活动
-
-
4.6.3. 首席数据管理专员(Chief Data Stewards)
-
4.6.3.1. CDO的替代角色,担任数据治理机构的主席,也可以是虚拟的(基于委员会)或者在分布式数据治理组织中担任CDO
-
4.6.3.2. 他们甚至也可能是高层发起者
-
-
4.6.4. 高级数据管理专员(Executive Data Stewards)
- 4.6.4.1. 他们是数据治理委员会(DGC)的资深管理者
-
4.6.5. 企业数据管理专员(Enterprise Data Stewards)
- 4.6.5.1. 他们负责监督跨越业务领域的数据职能
-
4.6.6. 业务数据管理专员(Business Data Stewards)
-
4.6.6.1. 他们是业务领域专业人士,通常是公认的领域专家,对一个数据域负责
-
4.6.6.2. 他们和利益相关方共同定义和控制数据
-
-
4.6.7. 数据所有者(Data Owner)
- 4.6.7.1. 他们是某个业务数据管理专员,对其领域内的数据有决策权
-
4.6.8. 技术数据管理专员(Technical Data Stewards)
- 4.6.8.1. 他们是某个知识领域内工作的IT专业人员,如数据集成专家、数据库管理员、商务智能专家、数据质量分析师或元数据管理员
-
4.6.9. 协调数据管理专员(Coordinating Data Stewards)
- 4.6.9.1. 在大型组织中尤为重要,其领导并代表业务数据管理专员和技术数据管理专员进行跨团队或者数据专员之间的讨论
-
4.6.10. 通常最好的数据管理专员都是在工作中被发现的,而不是靠培养的
-
4.6.10.1. 在大多数组织中,即使没有数据治理项目,也有人负责数据管理
-
4.6.10.2. 将他们的岗位管理职责正式化,可以使他们的工作得到认可,帮助他们更加成功、做出更多的贡献
-
4.6.10.3. 所有这些都意味着,数据管理专员可以被“培养”,可以培训员工成为各类数据管理专员
-
4.6.10.4. 让那些已经在管理数据的人可以发展他们自己的技能和知识,从而使他们工作得更好
-
4.7. 数据制度
-
4.7.1. 数据制度包括对数据治理管理初衷的简要说明和相关基本规则,这些规则贯穿数据和信息的创造、获取、集成、安全、质量和使用的全过程
-
4.7.2. 数据制度是全局性的,它们支持数据标准以及与数据管理和使用等关键方面的预期行为,不同组织的数据制度差异很大
-
4.7.3. 数据制度描述了数据治理的“什么”(做什么和不做什么),而标准和规程描述了数据治理的“如何”
-
4.7.4. 数据制度应该相对较少,并且尽量采用简单直接的表述
4.8. 数据资产估值
-
4.8.1. 数据资产估值(Data Asset Valuation)是一个理解和计算数据对组织的经济价值的过程
- 4.8.1.1. 因为数据、信息甚至商务智能都是抽象概念,人们很难将它们与经济影响联系起来
-
4.8.2. 数据具有不可互换性(替换性)
-
4.8.2.1. 某组织客户数据的重要性不同于另一个组织的客户数据;不仅是客户本身,而且包括与之相关的数据(如采购历史、首选项等)
-
4.8.2.2. 一个组织如何从客户数据中获得价值(即从这些数据中了解到的客户信息以及如何应用所学信息),可以成为组织的竞争优势
-
-
4.8.3. 数据生命周期的大多数阶段涉及成本(包括获取数据、存储、管理和处置)
-
4.8.3.1. 数据只有在使用时才有价值,使用时数据还产生了与风险管理相关的成本
-
4.8.3.2. 使用数据的经济效益超过了上述成本时,就会显现其价值
-
-
4.8.4. 替换成本(Replacement Cost)
- 4.8.4.1. 在灾难性数据破坏事件或者数据中断时,数据替换或恢复的成本,包括组织内的交易、域、目录、文档和指标信息等
-
4.8.5. 市场价值(Market Value)
- 4.8.5.1. 兼并或收购企业时作为企业资产的价值
-
4.8.6. 发现商机(Identified Opportunities)
- 4.8.6.1. 通过交易数据或者通过售卖数据,从数据(商务智能)中发现商机获得的收入价值
-
4.8.7. 售卖数据(Selling Data)
- 4.8.7.1. 一些组织为产品或销售将数据打包从数据中获得的洞察
-
4.8.8. 风险成本(Risk Cost)
-
4.8.8.1. 是基于潜在罚款、补救成本和诉讼费用的估价
-
4.8.8.2. 来自法律或监管的风险包括
4.8.8.2.1. 缺少必需的数据
4.8.8.2.2. 存在不应留存的数据
4.8.8.2.3. 包括数据不正确造成客户、公司财务和声誉受到损害
4.8.8.2.4. 风险下降或者风险成本的下降,其实是与提升和验证数据等操作干预成本的抵消之后的溢出部分
-
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 分享4款.NET开源、免费、实用的商城系统
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
· 上周热点回顾(2.24-3.2)
2024-02-25 读人工不智能:计算机如何误解世界笔记02_Hello,world
2023-02-25 读Java性能权威指南(第2版)笔记01_导言