数据治理学习笔记（一）（概述篇）

一、概述篇

1、数据治理的目的，在于对企业所需数据的可获得性、相关性、可用性、整体性、安全性等，实现全面、有效的管理，将数据作为企业的战略资产加以重视和综合利用，为实现企业长期的发展战略和增长目标服务。

　　完整的数据治理包括战略、组织、制度、流程、绩效、标准、工具，以及数据价值、数据共享、数据变现等许多方面。

2、定义

（1）狭义的数据治理指数据资源及其应用过程中相关管控活动、绩效和风险管理的集合，保证数据资产的高质量、安全及持续改进。

（2）广义的数据治理包括数据管理和数据价值“变现”，具体包含数据架构、主数据、数据指标、时序数据、数据质量、数据安全等一系列数据管理活动的集合。

3、数据的分类：

　　数据分类的维度有很多，按照数据对象划分，可以分为以下几类：

（1）参考数据

　　参考数据是指对其他数据进行分类和规范的数据，如国家、地区、货币、计量单位等产业通用的数据及各产业特色基础配置数据。它是相对稳定、静态的数据，基本上不会变化，往往通过系统配置文件给予规范并固化在信息管理系统中。

（2）主数据

　　主数据是指满足跨部门业务协同需要的、反映核心业务实体状态属性的基础信息。

　　主数据是用来描述企业核心业务实体的数据，是企业核心业务对象、交易业务的执行主体，是在整个价值链上被重复或共享应用于多个业务流程、跨越多个业务部门和系统、高价值的基础数据，也是个业务应用和各系统之间进行数据交互的基础。从业务角度看，主数据是相对固定、变化缓慢的，但它是企业信息系统的神经中枢，是业务运行和决策分析的基础，如供应商、客户、企业组织机构和员工、产品、客户、供应商、物料等主数据。

（3）业务活动数据

　　业务活动数据（又称交易数据）是指在业务活动过程中产生的数据，是企业日程经营活动的直接体现，也是围绕主数据实体产生的业务行为和结果型数据，如采购订单、销售订单、发票、会计凭证等数据。业务活动数据存在于联机事务处理系统中（OLTP系统），具有瞬间生成和动态的特点。

（4）分析数据

　　分析数据（又称统计数据、报表数据或指标数据等）是组织在经营分析过程中衡量某一个目标或事物的数据，一般由指标名称、时间和数值等组成。

（5）时序数据

　　时序数据是指时间序列数据。它是按时间顺序记录的数据列，在同一个数据列中的各个数据必须是同口径的，要求具有可比性。在工业系统中，实时数据是时序数据的一种，如设备运行监测类数据、安全类监测数据、环境监测类数据。

4、数据治理的核心内容

　　完整的数据治理包括战略、组织、制度、流程、绩效、标准、工具及数据价值、数据共享、数据变现。

（1）战略

　　数据治理的首要任务是制定数据治理战略目标，否则缺乏目标和行动纲领，数据治理难以开展。数据战略是信息化战略的重要组成部分，企业要清晰地定义企业数据治理的使命、愿景，中长期目标及行动计划，用以指导企业数据治理。

（2）组织

　　建立合适的数据治理组织是企业数据治理的关键。数据治理的组织建设一般包括组织架构设计、部门职责、人员编制、岗位职责及能力要求、绩效管理等内容。

（3）制度

　　企业的数据治理制度通常根据企业的IT制度的总体框架和指导原则制定，往往包含数据质量管理、数据标准管理、数据安全管理、数据绩效管理等制度，以及元数据管理、主数据管理、交易数据管理、指标数据管理等办法及若干指导手册。

（4）流程

　　数据治理流程主要包括从数据的生产、存储、处理、使用、共享、销毁全生命周期过程中所遵循的活动步骤，以及元数据管理、主数据管理、数据指标管理等流程。

（5）绩效

　　数据绩效管理包括数据管理指标、数据认责机制、数据考核标准、数据管理的奖惩机制，以及绩效管理过程的一系列活动集合。

（6）标准

　　数据标准是实现数据标准化、规范化的前提，是保证数据质量的必要条件。数据标准一般分为元数据标准、主数据标准、交易数据标准、数据指标标准、数据分类标准、数据编码标准、数据集成标准等内容。

（7）工具

　　数据治理管理工具包括数据架构工具、元数据管理工具、数据指标管理工具、主数据管理工具、数据指标管理工具、主数据管理工具、时序数据管理工具、数据交换与服务工具、质量管理工具和安全管理工具等。

5、主流数据治理标准及框架介绍

（1）数据管理能力成熟度评估模型（DCMM）

　　该框架讲组织数据管理能力划分为8个能力域：数据战略、数据治理、数据架构、数据标准、数据质量、数据安全、数据应用和数据生存周期。

（2）DAMA的数据管理理论框架

                        图1 DAMA的数据管理理论框架

 6、数据治理的发展趋势

（1）区块链与数据共享

　　区块链是实现信息数据资产流通、共享和隐私保护的新技术，为企业给予数据治理促进生产经营转型发展带来了新的机遇。

　　区块链具有的自治、匿名、可溯源及不可篡改的分布式账本技术，非常适合应用于多主体参与、多流程的复杂过程的机制重塑及流程改造，以增强和参与方的信任度，提高系统效率。

（2）5G技术与数据安全

（3）大数据与数据治理

（4）数据文化与道德伦理

二、体系篇

1、数据管控

　　一般来说，企业的数据管控体系包括数据治理的组织架构、制度规范、执行流程、培训宣传、设计机制和绩效体系等内容。

（1）组织架构

　　企业的数据治理组织架构主要分为决策层、管理层、执行层和监督层4个层级。

               图2 数据治理组织框架

（2）组织模式

　　分散模式：企业内部各部门根据数据战略自行组件数据治理团队，负责各自专业范围内的数据治理工作。团队之间相互独立，仅存在少量的沟通和协同，也没有总体统筹负责额组织机构。该模式的特点在于数据治理工作可以最大限度地满足本单位的实际需求，但是由于缺乏跨专业协同和统筹管理，跨专业、跨单位的数据问题难以解决，也无法建立起企业级的数据整合和质量管控机制。

　　归口模式：企业内部明确数据治理工作的归口管理部门，其他业务部门都成立数据治理团队，虽然其组织关系上仍归属本业务部门，但其数据治理相关工作应同时向归口管理部门报告，接受归口管理部门的工作指导和安排。两者共同构成数据治理的虚拟团队。该模式的特点在于在一定程度上兼顾了数据治理工作的统筹管理和业务自主性，有利于进行统一的规划设计、财务预算和绩效考核。但该模式对归口部门的专业能力、组织能力、协调能力和管理能力均提出了较高要求，对人力资源的需求也相对较高。归口模式是当前各企业构建数据管控体系时采用较多的模式，具备较强的可落地性和可复制性。

　　半集中模式：企业内部有明确、统一的数据归口管理部门，并且由归口管理部门向其他业务部门派驻分团队或小组，再结合业务专家，构建与业务部门的合作关系。派驻的分团队或小组接受数据归口管理部门的统一管理，并指导和负责业务部门的数据治理工作。该模式的特点在于可以高效利用数据治理专业的资源，并全面掌控各业务部门实际的数据治理工作进展，有利于整个企业数据治理工作的统筹推进。但该模式涉及企业组织机制的调整转型，这一点在大型国有企业中尤难实现并且业务部门的自主性和参与度较低，不利于充分利用业务部门的专家资源。

　　全集中模式：在企业内构建完全集中化运作的数据治理团队除技术部门的数据治理人员外，将各业务部门、各分支机构相关的业务专家和数据治理团队、人员全部整合到集中后的专职的数据治理团队中，并由该团队全面负责整个企业的数据治理工作。该模式的特点在于可以最大限度地共享和使用数据治理专业的人力资源和各类技术资源，可以结合企业的业务实际需要统筹安培各项工作的优先级，并集中力量解决影响面广的重要问题。但完全集中化必然会带来末端需求响应速度的下降，业务部门和分支机构几乎置身事外，不利于数据治理的常态化管控，并且涉及企业组织机制的变更，挑战极大。

（3）职责分工

　　决策层职责：

　　A.贯彻落实国家有关数据治理的相关法律、规定、方针和政策。

　　B.负责制定和发布企业数据治理及数据资产管理相关的战略规划。

　　C.负责对企业数据治理相关的重大事项进行决策。

　　D.负责审批和发布企业数据治理相关的管理制度、流程及相关标准规范。

　　E.负责指导、督促管理层和执行层开展数据资产管理工作，组织、协调跨部门的数据治理重大事项。

　　管理层职责：

　　A.贯彻落实决策层各项决策部署，行使日常数据治理工作管理职责。

　　B.负责基于企业战略规划制订数据治理工作的发展规划，并报决策层批准、发布。

　　C.负责组织制订企业数据治理的年度投资计划和年度工作计划。

　　D.负责制定、修订和发布数据治理相关的办理办法、实施细则和业务指导书，构建公司的数据治理制度体系。

　　E.负责组织制定企业级数据标准，并对数据标准执行情况进行监督和定期抽样检查。

　　F.负责规划、构建和管控企业的数据架构，统筹开展数据模型、数据分布、数据目录和元数据等管理工作。

　　G.负责识别和确定企业主数据明细，并建立主数据应用管理机制。

　　H.负责制定数据质量基础规则，明确管理要求，制定检查和考核指标，并提供数据质量问题的指导和协调。

　　I.负责组织制定数据安全基础策略，构建企业级数据安全管控体系，配合公司安全和审计部门开展数据安全的监督和审计工作。

　　J.负责受理跨部门、跨机构或重要的数据需求，组织开展数据需求的评审、实施和成果交付工作。

　　K.负责接受监督层管理监督小组的工作监督，配合开展定期监督检查。

　　L.负责定期组织评价数据治理工作效果，制定考核制度。

　　执行层职责：

　　A.负责落实企业数据战略和数据治理规划的相关要求，根据战略规划目标组织具体工作的开展。

　　B.负责落实数据治理相关制度规范、数据标准和工作流程的要求，确保各项执行工作符合企业要求。

　　C.负责根据管理层建立的数据架构落实本专业、本单位的数据模型、数据分布、数据目录和元数据管理等工作。

　　D.负责基于管理层明确的主数据管理应用机制开展主数据消费、维护等工作，保障主数据的准确性、一致性和及时性。

　　E.负责执行本区域、本专业数据质量管理，制定数据质量提升工作方案，落实数据质量管控机制，开展数据质量问题的识别、分析与整改。

　　F.负责落实管理层制定的数据安全管理要求，配合开展数据安全监督与审计工作。

　　G.负责处理本单位数据需求，开展需求分析、业务逻辑梳理等工作，对交付成果进行效果验证。

　　H.负责接受监督层执行监督小组的监督，配合开展定期检查工作。

　　I.负责接受管理层数据质量相关的考核评价，并根据结果优化工作机制。

　　监督层职责

　　A.负责对决策层针对数据治理重大事项作出决策的过程进行监督，确保决策过程符合法律及企业规章制度的相关规定。

　　B.负责对管理层制定的工作计划、各项预算、管理制度等管理工作进行监督，确保管理过程合法合规，且与企业数据战略方向一致。

　　C.负责对执行层具体落实数据治理各项工作的过程进行监督，确保执行结果符合预期。

　　D.负责定期配合审计部门对数据治理相关项目、操作行为、资金流向等进行全面审计，及时发现违规行为或潜在风险。

　　E.负责在考核评价过程中提出在监督过程中发现的问题，并参与实际的考核评价过程。

（4）制度规范

　　数据政策：数据政策既贯穿了整个企业的组织和业务结构，也贯穿了企业数据创造、获取、整合、安全、质量和使用的全过程，其内容包括数据资产管理及相关职能的意义、目标、原则、组织、管理范围等，从最根本、最基础的角度规定了企业在数据方面的规范和要求。

　　管理制度：数据治理管理制度清晰地描述了数据资产管理各项活动中所遵循的原则、要求和规范，各级单位和机构在数据治理工作中必须予以遵守。数据治理管理制度从形式上包含章程、规则、管理办法等。

　　数据治理实施细则：数据治理实施细则是已有的企业级数据治理管理制度的从属性文件，用于补充解释特定活动或任务中描述的具体内容，进一步确定后续步骤里的具体方法或技术，或管理制度相关要求与不同业务部门、分支机构实际情况的结合和细化，以便促进特定领域或范围内具体工作的可操作化。

　　数据治理操作手册：操作手册是针对数据治理执行活动中的某个具体工作事项制定的，用于指导具体操作的文件，是特定活动的执行中需要遵守的操作技术规范。

（5）执行流程

　　定义：定义环节首先定义数据与业务相关的背景、分类及相互之间的关联关系，其次定义实施数据治理工作所需的政策、规则、标准、流程及评价策略。

　　发现：发现环节主要获取企业数据生命周期的当前状态、相关业务流程、组织和技术支持能力，以及数据本身的状态，并根据定义阶段明确的数据治理策略、优先级、标准、规则、架构等来对企业现状进行全面对比检查，发现数据治理需要解决的问题，形成问题清单，并通过CRUD分析方法初步定为数据治理问题的原因，为后续数据治理工作的实施建立基础。

　　实施：实施环节的目标是根据前两个环节的执行结果来执行具体的数据治理工作，并确保数据治理与定义和发现环节确立的所有数据治理政策、业务规则、管理流程、工作流程、角色职责相符，最终解决发现数据治理的相关问题，提升数据治理的水平。

　　衡量与监测：衡量主要是获取并衡量数据治理和管理工作的有效性及价值；监测主要是建立后向的实时管控机制，形成对数据治理过程及其后续各项工作的常态化闭环管理机制，使数据资产及其生命周期透明并可审核。

（6）设计机制

　　决策机制

　　监督机制

　　保障机制

　　认责机制

　　激励机制

　　沟通机制

（7）绩效体系

（8）标准体系

三、工具篇

四、实施篇