数据仓库oneID和主数据区别
在了解oneID前,先来看一下阿里的oneDate体系。其实OneID在整个数据服务体系中,也只是起点不是终点或者说是手段,我们最终的目的是为了建设统一的数据资产体系。
没有建设统一的数据资产体系之前,我们的数据体系建设存在下面诸多问题
One ID的核心目的是跨业务领域的数据连通,两个关键词:跨业务领域、连通。
所以,OneID是放大版的主数据,主数据可以作为OneID的输入。
-
数据孤岛:各产品、业务的数据相互隔离,难以通过共性ID打通
-
重复建设:重复的开发、计算、存储,带来高昂的数据成本
- 数据歧义:指标定义口径不一致,造成计算偏差,应用困难
— 02 —
数据中台为什么需要 OneID?
接触过企业数据平台的人都会知道,数据孤岛是企业发展到一定阶段后普遍会遇到的问题。企业内部的各个部门、业务、产品,各自定义和存储其数据,使得这些数据间都是相互割裂、难以关联,从而真正变成“孤岛”一般的存在,在业务价值上很难发挥出更多作用。
普遍存在的数据孤岛现象,各部门用的平台不同,且数据不相通
OneID的建立,就是为了打通这种数据孤岛的现状,通过打通分散在各个平台的用户数据,整合客户全生命周期旅程,实现各平台存储的数据通融,从而提升业务效率和用户体验。
ONEID的业务价值和数据管理价值业务价值:通过OneID贯穿客户生命周期,精准识别客户行为(浏览、留资、到店等行为轨迹),相当于为每一位用户量身定制了属于自己的完整的“身份和行为”的“名片”,为营销场景的落地(广告定投、精准推送、个性化推荐、增换购、流失预警等场景)和精益化运营的需要(精准客户数据分析、精准人群定位、精准圈层运营、经销商客户信息溯源等)提供支持。
数据管理价值:业务价值主要倾向于OneID对外为企业带来的营销便利、利润增长,数据管理价值主要倾向于对内形成的“互助”作用。OneID的构建有助于数据资产的沉淀,便于企业的数据管理、数据资产的可视化和可评估化等,同时,OneID还可满足其他平台的一些需求,如CDP平台、数据中台等,为其提供一定的支持。
总而言之,OneID的构建,是为了支撑各业务方管理决策及应用落地,从而达到提升业务效率及客户体验,且数据应用准确而全面的最终目的。
— 03 —OneID 和主数据的实现原理
OneID 是对不同渠道、不同来源的的“ID”进行统一拉齐和打通,其实现原理如下: 为了方便理解,这里给出的例子是比较简单的,但在实际实施过程中,其应用要复杂很多,例如:相同 ID 的值不一致怎么办,重复的 ID 如何合并,ID 信息发生变化如何更新,Mapping 表的更新频率如何设置等等,这些问题就需要结合具体场景解决了。我们再来看看主数据管理(MDM)的工作原理:主数据管理强调在源头治理,即:在数据源系统定义实现主数据的标准化,生成唯一主数据编码,并通过主数据系统分发标准数据到相关消费系统进行使用,消费系统只有查询和使用权不能对主数据进行“增删改”。另外,不同主数据的来源系统不同,如在这个例子中的客户主数据来源为 CRM,物料主数据的来源为 MDM,ERP 系统和数据仓库是主数据的消费系统。— 04 —有了数据中台,还需要主数据吗?
在很多数据中台的解决方案中,主数据是数据中台的一个组成部分。例如在 SAP 的数字平台解决方案中,数据中台是由数据集成、数据存储、数据仓库、开发建模、数据资产管理、数据管控、人工智能与行业模版等多个部分组成。其中,数据管控模块中就包含了主数据治理,如下图: 很多人都有个疑问,数据中台中既包含了数据采集/数据移动的能力,也包含数据服务共享的能力,同时还具备元数据、数据质量、数据安全等数据治理能力,有了数据中台,为什么还需要主数据管理?数据中台通过数据采集、清洗、治理,再以标准接口服务的形式提供出去,供其他系统调用,这确实是数据中台的核心能力。从功能的角度,主数据管理也的确有类似的功能,例如:主数据采集、主数据清洗、主数据服务等。但是,我们之前也说过,主数据与数据中台解决的问题并不相同。数据中台是在有了数据之后,在中台进行数据治理,形成数据资产并提供数据服务。而主数据更强调在数据产生之前定义数据标准,建立数据管理流程,并在数据产生的过程中对数据质量进行校验,从源头进行数据治理。因此,相对于数据中台来讲,主数据管理是一个后台系统,它可以作为数据中台的一个数据源为数据中台供应高质量的数据。设想一下:如果没有主数据管理,从各个异构系统中采集到数据中台的主数据(如:客户、产品、供应商等)将有不同的定义和编码,这就需要在数据中台对这些不一致的数据进行统一治理,这将是一件非常痛苦的事情,而且不能从源头上解决问题。因此在笔者看来,站在整体解决方案的角度,将主数据治理提前,对于传统企业来讲可能是不错的解决方案。— 05 —有了数据中台,还需要主数据吗?
主数据的核心目的是在单一业务领域中,各系统进行核心数据的统一,两个关键词:业务系统和统一。One ID的核心目的是跨业务领域的数据连通,两个关键词:跨业务领域、连通。
所以,OneID是放大版的主数据,主数据可以作为OneID的输入。