企业数字化转型如何做好数据资产管理
本篇文章为亿信华辰《决战数字化转型》系列直播中《企业数字化转型如何做好数据资产管理》视频直播稿件。如需获取相关资料,可登录亿信华辰官网社区进行直播回看或下载PPT。
本次直播我们分享的主题是:企业如何做好数据资产管理?将会从4个方面来进行分享:首先数据资产概念及其价值是什么;其次介绍数据资产管理企业常见的痛点和难点;再者是企业做好数据资产管理道法术器的系统方法论;最后通过实操案例,让你学会如何从0到1做好企业数据资产管理的项目。
一、数据资产概念及价值是什么?
1.数据资产的基本概念
首先,我们要理解数据资产的概念是什么?数据资产和我们日常生活普通资产一样,是广泛存在的,它是指能够对组织经营发展产生价值的数据。比如某个商品的销售数据,企业可以分析得出规律,方便后续更好做推广营销活动。
一般数据资产,都具有以下特点:它是广泛存在的,用技术手段更容易获得,可以提炼得出最大化价值,有丰富的用途,以及可以通过深入挖掘来发现。
2.数据资产与数字化转型的关系
如果把企业的数字化比喻成高楼大厦,那么基础数据就是自身的土壤,而数据资产就是整个大楼的地基,地基的作用,直接决定了数字化应用。
如果没有做好数据资产管理,企业只能做短期的数字化应用,但是无法长期有效运营下去。地基的作用直接决定了数字化应用,这个大楼,它的一个极限在哪。
如果说数据资产能够做的很好,就可以应用在资产交易,资产交换,资产服务等一系列的数字化应用里,并将数字化应用的场景持续地去发展下去。
3.什么是数据资产管理?
数据资产管理,可以简单理解为一个从矿产、冶炼、加工到最后形成商品的一个过程,即从一个数据原始的金矿产,含有很多杂质,经过加工企业打磨,就可以变成手镯,项链耳环等餐盘。
在企业进行数据资产管理中,需要找原始数据,然后判断数据之间关联关系,通过建模,通过数据湖或数据仓库,形成优质数据,数据指标,为决策做支持,为报表,大屏展示打基础。
二、数据资产管理常见痛点和难点
1.数据资产管理常见6大痛点
不同行业不同企业信息化程度不同,常见的痛点及要点也不一样。经过亿信华辰深耕大数据16年的行业经验。
在数据资产管理这块,归纳了6种常见的问题,分别是:缺乏统一的数据视图;数据基础薄弱;数据价值难估;数据管理富裕表面;缺乏安全的数据环境;数据应用不足。
(1)缺乏统一的数据视图:例如,在比较分散的情况下,我们很难发现数据之间的关联关系。主数据是一个非常重要的数据,被多个相关联的数据所引用,因此主数据是数据资产重要组成部分。
(2)数据基础薄弱:指的是企业即使有系统,但是系统数据不能直接使用。特别是针对制造业,有众多生产质量控制系统等。当到了财务成本计算阶段,这些数据却无法提供支持,需要大量做数据加工,耗费人力和精力。
(3)数据应用不足:指的是大量的数据产生于线下,没有应用能够支撑经营活动的流程化。从数据线下生产,再到流程化,信息化,需要有一个完整系统的过程。
(4)数据价值难以评估:数据价值如何体现?一般情况下,就是数据丢失,找回数据需要付出多大的代价。
(5)缺乏安全的数据环境:在日常的数据管理中需要有数据安全保障,包括数据的采集,存储,不管是利用分布式还是用数据库储备,都要进行备份等,整个数据管理需要有一种安全的意识贯穿始终。
(6)第六点是数据管理浮于表面:很多企业空喊口号,但是没有具体的数据管理部门,相关流程与制度,导致数据治理处于表面,无法用数据给企业的经营与发展提供价值。
2.数据资产管理4大要点
数据资产管理的4大要点,分别是数据资产范围界定,数据规范制定,数据价值鉴别,数据应用设计。
(1)数据资产范围界定,企业需要知道哪些数据是数据资产,哪些不是,对数据管理的范围有明确界限。
(2)数据规范制定,包括数据资产定义,流程规范,数据资产服务接口规范
(3)数据价值鉴别,包括企业如何判断哪些数据更有价值,方便数据资产编目
(4)数据应用统计,企业如何根据已有数据资产,提供相关的数据共享服务
三、数据资产管理的道法术器
1.数据资产管理之道法术器
数据资产管理是一个系统活动,我们今天分享道法术器系统的管理方法论。道:包括数据战略,组织机制,数据文化等道方面;法:管理层面,实施的方法论;术:操作层面上的技术,有效推进企业数据治理所采用的各类举措和技术;器:如何利用技术平台和工具,来做好数据资产管理。
2.数据资产管理之道
数据资产管理的战略,需要和业务战略保持一致,一定要给业务提供相应的支撑,这样企业高层才能给予数据管理部门支持,数据治理项目才能长久做下去。
同时也要搭建相关的组织架构,管理制度,规范和流程,随着企业信息化的一些发展,相关的组织架构,管理制度,流程都会不断改进和优化。
最后一个是数据文化普及,要让企业所有人都意识到数据的价值。业务部门的人,可能认为数据就是报表,就是大屏,无法理解数据真正价值。
要把数据资产管理好,需要IT部门发挥牵头作用,让业务人员看清楚数据的价值,如何激发挖掘数据的价值。
3.数据资产管理之法
数据资产管理之法,指的是把数据收集,管理,利用,数据定价全过程。核心包括管理职能和保障措施。
管理职能,包括如何去落实数据资产运营管理者这一系列的具体行为,包括去做数据地图,数据链路,数据字典,去做数据标准化。
在管理过程中如何保证它能够顺利进行,需要有相应的战略规划,组织架构,体系制度,审计制度,还有很重要的培训宣贯。
4.数据资产管理之术
数据资产管理之术,指的是如何持续做好数据资产管理的1+4+N的模式去推进。首先,需要强调的是这种管理架构和策略,其次要关注数据增值应用,数字化应用,以数据资产管理职能为支撑。
5.数据资产管理之器
有了管理制度,组织架构,工作流程之后,就需要借助资产管理平台去落地。数据资产管理平台,一要做好数据集成,数据治理,然后数据资产相关的规划。其中涉及到元数据模块,数据标准模块,数据质量,数据资产,数据集成,是一个庞大系统的建设工程。
6.元数据模块
首先说说第一个元数据模块,元数据是数据治理的基石,它的一个主要作用就是让这个数据资产更容易懂。
在实际场景中,经常会接到一个项目,我们去询问业务部门的一些意见,但是业务部门通常反馈是数据库太多专业东西不懂,都不知道有什么用。
而元数据则可以解决这个问题,通过编辑的数据字典和数据地图,让业务人员能够快速查询相关信息。
一般来说,元数据模块,要注意元数据的常见管理,包括采集,检索,质量检核,分析,变更管理,分析,数据地图等。
通过了解资产的途径,了解元数据质量,整合元数据的填充率。通过更多采集器,血缘关系,监控指标,系统脉络都一目了然,便于业务人员理解使用数据资产。
7.数据标准模块
数据标准,其实就是一个约束作用,对数据的约束,保证数据资产的一致性。
标准的要求,一般比较泛,有国家标准,行业标准,企业自身也有标准。类似于主数据,属于一个企业级的表,每个企业根据自身的一些情况,去设置这种数据主数据的标准,实现快速汇集。
在数据资产管理模块,主要有数据标准制定,审批发布,落地映射,落地评估,标准监控,标准文档管理等,目的是让标准管理有层次,评估精确,统计信息直观,标准参考有理有据。
8.数据质量模块
在数据质量模块,要对资产的一些真实有效性做一个评估,需要把一些有问题,没有价值的数据,用规则进行拍出,确保数据资产能够够体现价值。
数据质量方面,企业需要质量规则管理,检查方案管理,质量评估,数据整改,质量分析报告,建立质量知识库。
而亿信华辰数据治理睿治产品数据质量管理功能,里面内置质检类型多,拓展性强,数据更改更加精细,质检监控数据简单明了,还可以自己定义质量报告。
先通过规则筛选出具有价值的数据,接着需要形成质检方案,因为不同部门对于数据质量的要求是不一样的。逻辑上的话,最好是业务部门来进行质检,因为他们最终是数据资产的消费者。
9.数据资产模块
经过元数据,数据标准,数据质量的三个步骤,组织差不多已经有了一大堆的数据资产,这个时候需要对数据进行管理。
数据资产需要编目,通过资产门户去搭建,提供资产服务,还有数据资产监控,辅助资产分类的标准等。
日常数据资产管理,就是要对资产编目,资产检索,资产服务,资产监控,资产分析,资产标签等功能,把数据资产进行归类管理。
10.数据集成模块
最后一个步骤,是数据集成模块,组织有大量零散,分布的数据资产,需要集中统一管理。而数据集成的作用,则是降低数据资产化的操作门槛,让更多的业务人员参与其中。
数据集成方面,一般包括可视化建模,模型资源检索,ETL过程设计,ETL过程流设计,数据脱敏,调度管理等。
企业需要设计从数据库抽取,转换,加载数据的流程,对敏感数据资产进行脱敏,设置数据资产访问权限,使用权限等内容,更好集中管理好大量的资产数据。
四、数据资产管理实操案例
讲解了那么多干货内容,第四部分,我们结合一个实际的业务场景,看看如何做好一个数据资产管理上的项目。
1.项目背景
首先整个背景,某集团经过多年发展,沉淀了海量数据,想用大数据挖掘数据价值,以数据化手段拉动业务提升,实现整个信息化的支撑向数字化引领的战略转变。
客户主要诉求就是对企业数据进行全生命周期资产化管理,然后促进数据,在内增值,在外增效两方面的价转变,同时去控制数据在整个管理流程中的成本消耗。
2.数据资产管理建设5大步骤:
在数据资产管理整个建设过程,主要分为5个步骤:
第一步,是数据资产盘点,要找出哪些数据是数据资产
第二步,是数据资产集成,把所有数据资产全部集中起来
第三步,是数据资产的治理,把数据资产进行编目,分类处理
第四步,是数据资产开发应用,如何把数据资产分享出来应用
第五步,要做一个资产价值的评估,哪些数据价值高,哪些数据价值低
这个建设过程,在实际操作中,可以交替互换。比如在做资产盘点的时候,可能在前期已经有非常好的数据基础,那么在后面资产管理中,资产治理环节可以跳过。
数据湖,数据仓,数据组,原数据库,指标库这些产物如果做的足够好,那么在做数据资产开放应用和资产价值评估的时候,可以节省大量时间,会缩短整个项目的周期。
3.数据资产盘点1
首先,第一步需要判断哪些数据是数据资产,一般用5个方面衡量:
(1)业务权重:这个数据是否属于核心业务的运营范畴
(2)角色群众:这种数据对高层的决策是不是会带来直接的影响,
(3)指标数据:一般情况下,95%的数据指标都可以放入到数据资产
(4)使用频率:频率越高,说明数据重要性越高
(5)技术存在与可控性:通过一些技术手段,能够对数据进行一个获取,维护,管控的状态,管控程度与可控性,都是辅助的一个数据指标
4.数据资产盘点2
有很多企业,想做数据资产项目,但是最大的困扰就是技术人员不懂数据的业务价值,业务看不懂数据最终会落到什么地方,单单靠着数据资产盘点的5个维度,是无法让数据使用者理解的。
这个时候组织需要建立元模型,把数据的五个方面融入到技术人数据,业务人数据和管理人数据,形成一个元数据的雏形,便于数据资产项目实施落地。
5.数据资产盘点3
除了使用以上5个方面来判断数据资产,也可以自己制作一个资产目录的模板,大家直接参考模板,就可以初步判断数据是否有数据资产。
表格里面可能罗列得不是很全,但是分类的方法和维度应该对大家有所帮助,我们可以分为系统主题,业务主题,行业,组织架构主题,资产类型,服务分类,安全主题,资产形态主题等。
6.数据资产盘点4
在数据资产盘点的最后环节,要能够形成数据之间的流向关系,有可以有效找到数据资产。从宏观分析,其实就是看我们的数据经历,每个系统,数据之间的有什么关联。
在地图上,可以很轻易看到一个系统如果与其他系统有很多关联的线条,那么这个系统肯定是非常重要的,它里面的一些数据也肯定是核心数据。
从微观上,业务人员可以看到报表是如何一步步从库表中加工而成的。资产盘点不是技术IT部门的事情,业务部门一般也会非常感兴趣,因为与他们的业务利益息息相关。通常情况下,IT数据设置一个数据员,业务部门来帮助加工,这样报表整个制作过程UIu大大缩短。
7.数据资产集成
把所有数据资产划分后,接下来需要做数据集成,整合一下所有的数据资源,把数据变成资产级。
数据资产要经过数据标准,数据质量,数据安全等治理工具,来进行清洗转换,接着开始整合数据,在企业内部进行资源拆分共享。
比如人力部门,需要把绩效信息发给各个部门,然后领导审批,人力给出综合评价,再反馈到各个部门,流程比较繁琐。
如果用数据资产层面,人力只需要开放考核信息,各个部门自己去看,自己分析。通过数据治理,把零散重复,不完整的数据整合起来,减少重复性的工作。
在整个数据资产里面,还需要提供相关的数据资产列表,在详情里面也会描述数据资产,告诉使用者数据的产生地,应用场景,注意事项等内容。
数据资产列表,和淘宝里面的商品使用说明一样,数据本身是一种商品,需要注明各种信息,告诉用户有什么特点,有什么应用场景,有什么价值,才能更好发挥数据的作用。
8.数据资产治理
经过数据集成后,组织拥有大量的数据资产,里面有很多重复,零散,缺失的数据,要在使用数据之前,要经过数据清洗,就像要在做菜之前,需要对食物进行加工处理。
平时的数据资产治理,需要经过3个步骤:
①基础治理,要把零散,重复,不完整的数据,进行筛选,删除,补录,整合。
②进阶治理,数据初步治理后,接着需要数据清洗,定义清洗条件,质检规则
③最终治理,利用数据标准,数据质量,数据安全标准,确保数据的精确,完整,一致有效,唯一性。
在治理途中,要特别注意检验规则,清洗规则,数据条件,要在一次次数据治理中积累经验,优化规则,提高数据资产的质量。
9.数据开放应用
数据资产经过盘点,集成之后,企业就有了一块黄金数据。下一步,就是企业需要通过数据服务化平台,把它呈现给管理层,业务人员,职能人员以及客户。
数据平台的功能,类似于淘宝,每一个数据所有者,都是一个淘宝店家,把自己的数据放在店铺里。
数据用户可以通过检索,去查找相关数据,应用于什么目的,接着通过反馈,赋予这个数据应用场景和价值。在实际操作中,也会有一些属性,标签,来提供更加精准的查询,为数据消费者提供更好的体验。
10.数据价值评估
最后一个,是数据资产评估。之前提到说,数据资产评估,一方面成本方面,就是数据丢失后,找回数据的成本,数据储存的一些成本。
很多大公司,购买云服务器来存储大量的日志数据,这些数据不是很有价值,大量过期的数据混淆在新数据中,造成数据冗余现象严重,也增加了数据库的成本费用,一般这种数据录的费用都是几万到十几万不等。
第二个方面,是数据的应用价值。我们要根据数据使用频率,交互性,同步性,数据维护方面考虑。
比如一些投资集团的数据,制造业生产制造的数据,会沉淀大量的历史数据。如果通过这些数据,来发挥一些规律,去缩短研发成本,做数据分析创新,提升产品业务销量,让数据实实在在为企业产生业务价值。