https://www.cnblogs.com/wuzhiblog/p/13062970.html
数据资产管理实践纲要
本文全部内容均来源于《数据资产管理实践白皮书(3.0)》 http://www.caict.ac.cn/kxyj/qwfb/bps/201812/t20181214_190696.htm
1. 概念
数据资产
是指由企业拥有或控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料、电子数据等。并非所有的数据都构成数据资产,数据资产是能够为企业产生价值的数据资源。
数据资产管理
是指规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。
2. 数据资产管理在大数据体系中的定位
数据资产管理在大数据应用体系中,处于承上启下的重要地位。对上支持以价值创造为导向的数据应用开发,对下依托大数据平台实现数据全生命周期的管理。
企业管理数据资产就是通过对生命周期的管理,提高数据资产质量,促进数据在“内增值,外增效”两方面的价值变现。
3. 数据资产管理的演变
国际数据管理协会(DAMA,Data Management Association International)的定义:
2009年发布数据管理知识体系DMBOK1.0中将数据管理划分为10个领域:
- 数据治理
- 数据架构管理
- 数据开发
- 数据操作管理
- 数据安全管理
- 参考数据和主数据管理
- 数据仓库和商务智能管理
- 文档和内容管理
- 元数据管理
- 数据质量管理
2015年,DMBOK2.0中扩展为11个管理职能:
- 数据架构
- 数据模型与设计
- 数据存储与操作
- 数据安全
- 数据集成与互操作性
- 文件和内容
- 参考数据和主数据
- 数据仓库和商务智能
- 元数据
- 数据质量
4. 数据资产管理六大作用:
- 全面盘点数据资产
- 不断提升数据质量
- 实现数据互联互通
- 提高数据获取效率
- 保障数据安全合规
- 数据价值持续释放
5. 变革中的数据资产管理
- 数据对象纷繁复杂:来源、种类、结构越来越多,数据对象海量、多样、多元化
- 处理架构更新换代:底层架构向分布式系统迁移、从 ETL 向 ELT 转变
- 组织职能升级变迁
- 管理手段自动智能
- 应用范围不断扩大:从对内强化能力扩展到对外合作开放
6. 数据资产管理的主要内容
6.1 8个管理职能
6.1.1 数据标准管理
数据标准是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。一般包含三个要素:标准分类、标准信息项、相关公共代码。通常可分为基础类数据标准和指标类数据标准。
基础类数据标准一般包括数据维度标准、主数据标准、逻辑数据模型标准、物理数据模型标准、元数据标准、公共代码标准
指标数据标准一般分为基础指标标准和计算指标(又称组合指标)标准。基础指标一般不含维度信息,且具有特定业务和经济含义,计算指标通常由两个以上基础指标计算得出。
数据标准管理的关键活动包括:
- 理解数据标准化需求
- 构建数据标准体系的规范
- 规划制定数据标准化的实施路线和方案
- 制定数据标准管理办法和实施流程要求
- 建设数据标准管理工具,推动数据标准的执行落地
- 评估数据标准化工作的开发情况
数据标准管理的目标是通过统一的数据标准制定和发布,结合制度约束、系统控制等手段,实现企业大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理,为数据资产管理活动提供参考依据。
6.1.2 数据模型管理
数据模型按不同的应用层次分为以下三种:
概念模型:是一种面向用户、面向客观世界的模型,主要是用来描述现实世界的概念化结构,与具体的数据库管理系统无关
逻辑模型:是一种以概念模型的框架为基础,根据业务条线、业务事项、业务流程、业务场景的需要,设计的面向业务实现的数据模型。
物理模型:是一种面向计算机物理表示的模型,描述了数据在储存人质上的组织结构。
数据模型管理是指在信息系统设计时,参考业务模型,使用标准化用语、单词等数据要素来设计企业数据模型,并在信息系统建设和运行维护过程中,严格按照数据模型管理制度,审核和管理新建数据模型,数据模型的标准化管理和统一管控,有利于指导企业数据整合,提高信息系统数据质量。数据模型管理包括对数据模型的设计、数据模型和数据标准词典的同步、数据模型审核发布、数据模型差异对比、版本管理等。其关键活动包括:
- 定义和分析企业数据需求
- 定义标准化的业务用语、单词、域、编码等
- 设计标准化的数据模型
- 制定数据模型管理办法和实施流程要求
- 建设数据模型管理工具,统一管控企业数据模型
6.1.3 元数据管理
元数据(Metadata)是描述数据的数据。按用途不同分为以下三种:
技术元数据:描述数据系统中技术领域相关概念、关系和规则的数据。包括数据平台内对象和数据结构的定义、源数据到目标数据的映射、数据转换的描述等。
业务元数据:描述数据系统中业务领域相关概念、关系和规则的数据。包括业务术语、信息分类、指标、统计口径等。
管理元数据:描述数据系统中管理领域相关概念、关系和规则的数据。主要包括人员角色、岗位职责、管理流程等信息。
元数据管理(Meta Data Management)是数据资产管理的重要基础,是为获得高质量的、整合的元数据而进行的规划、实施与控制行为。其关键活动包括:
- 理解企业元数据管理需求
- 开发和维护元数据标准
- 建设元数据管理工具
- 创建、采集、整合元数据
- 管理元数据存储库
- 分发和使用元数据
- 元数据分析(血缘分析、影响分析、数据地图等)
6.1.4 主数据管理
主数据(Master Data)是指用来描述企业核心业务实体的数据,是企业核心业务对象、交易业务的执行主体。是在整个价值链上被重复、共享应用于多个业务流程的、跨越各个业务部门、各个系统之间共享的、高价值的基础数据,是各业务应用和各系统之间进行信息交互的基础。
主数据管理(MDM,Master Data Management)是一系统规则、应用和技术,用以协调和管理与企业的核心业务实体相关的系统记录数据。其关键活动包括:
- 理解主数据的整合需求
- 识别主数据的来源
- 定义和维护数据整合架构
- 实施主数据解决方案
- 定义和维护数据匹配规则
- 根据业务规则和数据质量标准对收集到的主数据进行加工清理
- 建立主数据创建、变更的流程审批机制
- 实现各个关联系统与主数据存储库数据同步
- 方便修改、监控、更新关联系统主数据变化
6.1.5 数据质量管理
数据质量是保证数据应用的基础。典型的衡量指标有:完整性、规范性、一致性、准确性、唯一性、时效性。
数据质量管理是指运用相关技术来衡量、提高和确保数据质量的规划、实施与控制等一系列活动。其关键活动包括:
- 开发和提升数据质量意识
- 定义数据质量需求
- 剖析、分析和评估数据质量
- 定义数据质量测量指标
- 定义数据质量业务规则
- 测试和验证数据质量需求
- 确定与评估数据质量服务水平
- 持续测量和监测数据质量
- 管理数据质量问题
- 分析产生数据质量问题的根本原因
- 制定数据质量改善方案
- 清洗和纠正数据质量缺陷
- 设计并实施数据质量管理工具
- 监控数据质量管理操作程序和绩效
6.1.6 数据安全管理
数据安全管理是指对数据设定安全等级,保证其被适当地使用。其关键活动包括:
- 理解数据安全需求及监管要求
- 定义业务敏感数据对象
- 定义数据安全策略
- 定义数据安全标准
- 定义数据安全控制及措施
- 管理用户、密码和用户组成员
- 管理数据访问视力与权限
- 监控用户身份认证和访问行为
- 定义数据安全强度,划分信息等级
- 部署数据安全防控系统或工具
- 审计数据安全
目标是建立完善的体系化的安全策略措施,全方位进行安全管控,通过多种手段确保数据资产在“存、管、用”等各个环节中的安全,做到“事前可管、事中可控、事后可查”。
6.1.7 数据价值管理
数据价值管理是对数据内在价值的度量,可以从数据成本和数据应用价值两方面来开展。数据成本一般包括采集获取和存储的费用和运维费用。数据应用价值主要考虑数据资产的分类、使用频次、使用对象、使用效果和共享流通等因素。数据价值管理的关键活动包括:
- 确定企业数据集成度水平
- 确定企业数据的应用场景
- 计算数据在不同应用场景下的收益
- 计算企业数据资产的总体价值
6.1.8 数据共享管理
数据共享管理指数据的所有者通过数据的建模分析挖掘,把隐藏在海量数据中的符合共享开放层级的信息作为应用商品,以合规安全的形式完成共享交换或开放发布,使得数据具有流通属性,能方便供数据消费者使用。其关键活动包括:
- 定义数据资产运营流通监控指标
- 设计数据资产运营流程管理方案
- 制定数据资产运营流通管理办法和实施流程要求
- 监控数据资产运营指标
- 监督落实数据流通等合规性管理要求
- 分析运营流通指标,评价运营效果并改进
6.2 5个保障措施
- 制定战略规划
- 完善组织架构:数据资产管理委员会(数据决策者)、数据资产管理中心(数据管理者)、各业务部门(数据提供者、开发者、消费者)
- 建立制度体系
- 设置审计机制
- 开展培训宣贯
7. 数据资产管理实施要点
7.1 实施步骤
- 一、统筹规划
- 二、管理实施
- 三、稽核检查
- 四、资产运营
7.2 实践模式
- 组织方式:自上而下的顶层设计模式和自下而上的各个击破模式。
- 建设策略:生产系统优先和数据系统优先
7.3 软件工具
7.3.1 数据标准管理工具
需具备以下基础功能:
- 标准生成
- 标准映射
- 变更查询
- 映射查询
- 维护标准
- 标准版本查询
- 标准导出
7.3.2 数据模型管理工具
需具备以下基础功能:
- 数据模型设计
- 模型差异稽核
- 数据模型变更管控
- 模型可视化
7.3.3 元数据管理工具
需具备以下基础功能:
- 元数据采集
- 元数据展示
- 元数据应用
- 元数据搜索
7.3.4 主数据管理工具
需具备以下基础功能:
- 主数据存储、整合
- 主数据管理
- 主数据分析
- 主数据分发与共享
7.3.5 数据质量管理工具
需具备以下基础功能:
- 质量需求管理
- 规则设置
- 规则校验
- 任务管理
- 报告生成
7.3.6 数据安全管理工具
需具备以下基础功能:
- 数据获取安全
- 数据脱敏
- 统一认证
- 租户隔离
- 角色授权
- 日志审计
7.3.7 数据生命周期管理工具
需具备以下基础功能:
- 数据需求分析
- 策略管理
- 自动化数据管理
- 其他辅助能力:数据校验、管理报告、水平扩展
7.4 成功要素
- 明确责权利标,有效推进管理
- 合理引进技术,提升治理能力
- 着眼业务应用,释放数据价值
- 加强数据合规,注重风险风控
- 持续迭代完善,形成良性闭环
8 企业数据资产管理上可能存在的问题
- 数据分散、规模大、种类繁多、质量差
- 缺乏规范管理,各方利益割据,数据变现困难
- 缺乏数据资产管理组织架构
- 未建立跨域专业数据管控流程、跨域数据管理技术手机不完善
- 技术标准不统一