企业如何做好数据资产的盘点 | 推荐收藏
传统意义上的资产盘点是指对资产进行定期清点,以确定各种财产在一定时间的实存数。数据资产盘点则是对企业拥有的数据进行清点,已确定企业当前拥有的数据。
众所周知,数据资产是企业数字化转型的数据底座,企业要进行数字化转型就要做好数据资产的管理,比如为了实现数据供给的需求,一项重要的基础性工作便是数据资产盘点。
只有通过全面梳理企业中作为资产的数据,才能使数据从业者了解数据资产全貌、绘制数据资产地图、有机串联数据的技术面与业务面,以便让企业中的数据能看清、可理解、相关联,进而为制定更好的数据策略、搭建更强的数据信任、实现更智能的数据应用打下坚实基础。今天小亿就从以下几个方面说说数据资产的盘点。
1.数据资产盘点的作用和意义
2.数据资产盘点的2种方法
3.数据资产盘点的基本原则是什么?由谁负责
4.数据资产盘点的流程和步骤
一、为什么要进行数据资产盘点?
目前,国内各大企业经过多年的信息化建设,已积累了种类繁多、体量庞大的数据,并且随着业务的持续发展,业务范围、资产规模、客户规模均不断扩大,产生的数据规模也在快速增长。
而数据规模的快速增长为企业带来了数字化转变、智能化变革的机遇,同时也对数据资产的掌控能力提出更高要求。而数据资产盘点是解决企业数据资产管理的前提,通过对企业拥有的数据进行盘点,将帮助企业弄清楚以下问题:
(1)企业有哪些数据?关注数据的分类
(2)企业有多少数据?关注数据的存量、增量
(3)企业的数据存储在什么地方?关注数据的存储和取用方式
(4)企业的数据是由谁在管理?关注数据的归属部门和责任人
(5)识别哪些是重要数据,哪些是敏感数据?关注数据的分级、共享条件和范围
因此,全面推进数据资产盘点工作,是摸清数据资产家底、明确数据资产存量、识别数据资产范围、搭建数据资产地图的重要手段,也是准确识别出有价值的数据资产,并对数据资产开展统一规范管理,进而实现数据资产价值最大化和良性循环的重要基础性工作。
二、数据资产盘点的2种基本方法
数据资产盘点有两个方法可以帮助我们梳理出企业的数据资产清单或数据资产目录,分别是“自上而下梳理”和“自下而上盘点”。
1.自上而下梳理
自上而下梳理是一种以业务视角进行数据梳理的方法,通过对企业的相关制度文件、智能体系、业务流程、业务单据等进行全面分析,逐层分解,梳理数据资产的三级目录、业务属性和相关管理属性。
(1)三级目录:即数据资产的分类,是按照业务视角对企业数据资产的梳理和分解,例如:数据域-数据主题-数据子主题-数据对象,(注:三级目录不限于三级,但一般建议控制在五级之内为宜)。
(2)业务属性:即用来描述数据资产的业务元数据。常见业务属性包括:所属数据域、数据主题等分类属性,数据对象、业务定义、业务规则、敏感等级等。
(3)管理属性:即用来描述数据资产的管理、维护、使用相关元数据。常见管理属性包括:管理部门、管理人员、联系方式、更新频率、最后更新时间、数据共享条件等。(注:业务视角下,数据资产的管理属性可能无法全部梳理出来,这就需要在技术盘点环节对其进行补充完善。
2.自下而上盘点
数据资产盘点的另一个方面是以技术的视角,从IT系统—数据库表---数据结构出发,进行自下而上归纳,逐步明确数据资产相关的系统信息项(技术属性)。
技术属性:即用来描述数据资产的技术元数据。常见技术属性包括:来源系统、数据库表、字段类型、字段格式、取值范围、存储方式、血缘关系等。
最后,对业务视角的梳理出的目录中数据项与技术视角的盘点出的系统信息项进行关联,建立起两者的映射关系,这样一个完整的数据资源目录就成型了。通过数据资产目录可以从多个视角(业务或IT)进行数据的查找,并确保目录中的每一个数据项都可以在真实的IT系统中找到。
三、数据资产盘点由谁负责基本原则是什么?
众所周知,数据作为一种特殊的资产,确权难、虚拟性、可复制是其主要特征,这也为数据资产盘点造成了一定的困难。数据资产盘点的原则是“谁生产,谁负责”,“谁使用,谁负责”,“谁管理,谁负责”。
因此,企业数据资产的盘点需要找到一个具有全局思维的人来进行统筹,规划出数据盘点的相关原则、框架和蓝图,定义出数据盘点的内容,制定出数据盘点的模板,再由生产或使用数据的业务部门执行梳理,完成数据盘点工作。这个统筹的人可以是IT部门、数据管理部门,或是外部聘请的数据专家。
除此以外,为了更好地开展企业数据资产盘点工作,保证盘点过程安全稳定、保证盘点结构准确可靠,还应遵循如下原则开展具体工作:
(1)前瞻性:数据资产盘点还应该站在整个盘点旅程的角度进行规划和实践,充分考虑数据资产规范、搜索获取、分析应用、绩效评估、可视化展示等需求;
(2)全面性:数据资产盘点范围要全面覆盖企业的所有数据资产,但在落地实践过程中,企业也可以分阶段开展盘点工作;
(3)基础性:选择数据资产最稳定的本质属性或特征作为盘点内容,确保盘点内容不因环境因素而发生变化;
(4)系统性:将需要盘点的数据资产的属性或特征按一定排列顺序以系统化,并形成一个合理的分类体系;
(5)确定性:对于盘点范围内的任何一项数据资产,在分类体系中应该有唯一确定的基本单元与之相应;
(6)可拓展性:目录框架应满足数据资产不断发展和变化的需求,允许在目录框架中增加新的盘点内容而不影响原有内容。为使用者进行延拓细化创造条件;
(7)安全性:减少数据盘点工作对于业务活动和系统运行的影响,避免出现数据丢失或泄露等失误,给企业带来损失;
(8)保密性:数据是企业重要资产,数据资产盘点过程中,盘点人员要严格遵守保密要求,避免触及敏感信息。
四、数据资产盘点的流程和步骤
数据资产盘点工作,整体包括准备阶段、盘点阶段、汇总阶段三部分流程,其中盘点阶段根据所盘点系统的不同类型和特征,包含4个子流程、分别针对套装软件、自开发系统、分析系统、数据仓库开展盘点工作。
1.准确阶段
不同系统对于盘点文档的需求存在差异,盘点开始前,需对获取或生成的业务及技术文档准备情况进行核查,确认文档可供盘点使用。同时,向各盘点系统运维支持人员申请各系统查询权限并确认。准备阶段主要工作可分为:
(1) 确认操作权限
由各系统运维支持人员提供各系统前台显示和后台数据库查询权限,盘点人员对所需用户权限在目标系统进行验证,为后续进行数据资产盘点打下基础。
(2) 形成数据字典
系统数据字典是系统盘点过程中的重要依据,如技术支持人员能提供盘点系统的完整数据字典,由技术支持人员提供;如技术支持人员不能提供完整数据字典,需由技术盘点人员通过数据库工具导出该系统完整数据字典。
(3) 形成功能操作清单
针对系统功能文档不全的历史遗留系统,由盘点业务人员创建系统功能操作清单,支撑系统功能与业务分类的关系对照。
(4) 进行业务分类
根据盘点系统的业务定位,参考组织已有的业务分类体系,补充完善业务分类体系。
(5) 确认盘点文档完整
根据收集与自主生成的文档,确认盘点文档是否完整。
2.盘点阶段
(1) 定位数据资产
圈定需要盘点的数据资产范围,明确盘点对象清单,为后续进行数据资产盘点打下基础。
a)定位数据资产:对照文档及系统,判断文档与系统一致性,定位业务流程涉及的数据资产和其它在套装软件中自开发数据资产的盘点范围。
b) 自动生成盘点表格:以数据资产名称为基础,自动生成盘点表格,盘点表格仅包括《数据资产盘点表格》部分,生成的盘点表格会自动填写数据资产分类、系统名称、指标编码三部分内容,并根据系统情况自动填写其他属性的部分内容,供后续盘点使用。
(2) 填写盘点表格
由业务盘点组和技术盘点组根据系统前台信息及后台数据情况,分别进行数据资产盘点表格初步填写,并收集需要沟通的业务及技术问题。
a) 明确业务分类:基于系统业务流程设计,根据已有的业务分类体系,对已经与业务流程关系的数据资产的业务分类进行识别。
b) 查询数据量:打开数据浏览器,查询数据量,计算新增条数(每月)。
c) 根据数据字典填写盘点表格:根据数据字典的信息,填写《数据资产盘点表格》的管理属性、技术属性和技术属性,以及《数据资产项盘点表格》的管理属性和技术属性。
(3) 沟通及补充完善
基于已收集的问题,与相关业务部门、技术支持组进行集中沟通或现场讨论,并对数据资产盘点表格进行补充完善。沟通业务部门,完善管理属性。针对相关的业务及管理问题,集中与相关业务部门开展讨论,可采用集中会议、邮件等形式。针对相关的技术及资产问题,集中与系统开发厂商,即技术支持组开展讨论可采用集中会议、现场讨论等形式。
(4) 汇总整理
汇总形成数据资产目录:在数据资产盘点初步完成后,业务人员对数据资产盘点表格进行汇总,并使用工具对部分内容进行生成或批量标准化转换。
3.汇总阶段
汇总阶段需要将所有盘点系统的盘点结果合并,形成统一的数据资产目录,并完善关联资产名称和数据资产编码。主要工作包括:
(1)汇总形成数据资产目录:汇总各类盘点子系统形成的数据资产目录,合并生成统一的《数据资产盘点目录》。
(2)完善关联资产名称:使用自动化工具,将《数据资产盘点目录》中关联资产内容中的代码转换为数据资产名称。
(3)形成数据资产编码:使用组织规划数据资产统一编码规则,生成数据资产编码。
五、亿信华辰数据资产盘点方案为企业数据资产管理赋能
亿信华辰数据资产盘点方案可以帮助企业盘清企业数据资源家底,搭建全域数据分类管理框架,同步构建常态化的数据盘点机制,实现数据资源的全生命周期可视化管理,形成面向企业内、外统一的数据资产目录,提供标准化的数据服务,有效推进数据资源的共享和应用,为后续数据治理打好基础。
方案内容包括元数据摸底、元数据维护、数据资产分类框架、数据资产目录构建。通过盘点数据资产,形成企业级的数据资产目录,为企业数据创新应用打好坚实基础,方案流程如下:
1.元数据摸查
通过对接企业业务系统、数据湖或者数据仓库,采集元数据自动获取原始的企业数据字典及数据之间的关系,形成企业元数据地图。
2.有效性资源标注
制定有效资源判断规则,基于采集的元数据,对全量数据资源进行自动识别,筛选出空表、备份表、临时表等无效资源,并补充辅助理解数据业务含义的信息,形成更完整、有效的资源元数据,为数据资产分类做铺垫。
3.数据资产编目
按照业务条线、组织架构、数据特性等多个维度构建数据资产分类框架,基于元数据信息完善数据资产目录信息,补充与资产相关的业务、权属信息,形成面向数据消费者的数据资产门户。
4.数据资产服务
建立数据资产目录与实体资源的映射关系,开发面向不同消费者的数据服务类型,满足业务系统、数据分析师、前台业务人员多样的数据需求。
此方案曾帮助中国房地产百强企业-时代地产完成集团多个系统/模块中的原始数据资产盘点,从源系统、数据平台、数据应用系统等通过元数据、数据标准、数据模型等工具落地数据现状,通过数据质量管理工具完成数据质量评估和量化,了解集团目前总体数据规模和分布情况。
同时,基于盘点结果,完善资产信息,查漏补缺完成注释补充,有效帮助了解数据含义及资产业务意义。最终实现集团从不了解数据现状到了解数据现状的转变,为集团后续数据治理、资产管理、数据安全工作有序开展奠定了基础。
六、小结
随着企业数字化转型的落地,数据作为企业一种“特殊资产”,被列入企业的资产负债表,是迟早的事情。因此对企业来说,数据资产当然也是需要盘点的,只有对数据资源进行统筹规划,全面梳理,“摸清家底”,才能让数据更好地服务于企业的业务应用。
企业开展数据资产盘点工作的目标是通过开展企业级的数据资产盘点,明确企业数据资产全貌,助推数据资产全生命周期的统一管控,为数据资产的增值利用提供良好基础,促进数据价值变现。