数据中台的整体框架

数据中台是以客户为中心、业务数据化和智能化发展的必然产物。数据中台的合理建设有助于提升数据向资产转化、数据规模化应用的能力,有效地实现数据的价值,支持业务数据化和智能化的需求,敏捷响应客户的个性化需求。建设数据中台的第一步是合理规划数据中台的架构,如下图所示。

 

数据中台的逻辑框架主要分为统一数据基础设施平台、数据接入和汇聚平台、统一数据模型平台、统一ID和标签平台、数据开发和运维平台、数据智能平台、数据管理平台、数据服务平台。

一、统一数据基础设施平台

构建统一的、公共的数据基础设施平台,实现平台快速部署、快速配置,有助于提升上层数据应用的效率和健壮性。

二、数据接入和汇聚平台

数据接入和汇聚平台是数据中台的起点,用于接入各个数据源的数据,然后通过统一的标准化体系实现数据的统一集中存储和汇聚,为上层的数据模型夯实数据基础。

三、统一数据模型平台

数据中台的核心组件之一是统一数据模型平台。让原始杂乱无章的数据变换为标准化、血缘关系清晰的数据资产,保障了数据的标准化和统一规范,沉淀了业务共同的数据维度和指标,实现了数据分层建模。

常见的数据建模方法有维度建模、实体建模和范式建模。数据建模一般将数据资产进行分层,数据分层的好处主要有以下两个∶一个是让数据的血缘关系和结构清晰;另一个是减少重复开发。

四、统一ID和标签平台

统一ID和标签平台是统一数据模型平台的延展,主要解决以下两个问题。

(1)各种业务实体ID的不统一问题,如客户ID、渠道ID、设备ID等不统一,造成数据支离破碎。

(2)标签体系不完备的问题。要构建基于统一实体ID的标签体系。

五、数据开发和运维平台

数据开发和运维平台主要是一个工具抽象和建设平台,用于构建系列工具提高数据开发和运维的效率与自动化水平。常见的工具有数据爬虫、数据同步、数据迁移、数据开发、数据ETL、监控工具、调度工具、数据运维等。

六、数据智能平台

数据智能平台承接数据模型输出的数据标签,利用大数据和算法提供分析、分类、排序、聚类、预测、推荐、匹配、决策支持、感知、理解、互动、学习等智能, 支持业务的智能化需求,如客户的需求洞察、偏好分析、风险分析、产品推荐、人机交互等。

七、数据管理平台

数据管理平台的核心能力是让企业有哪些数据资产、数据资产的存储情况、数据资产之间的关系和血缘均清晰可见,让数据资产符合质量管理规范,让数据资产的应用符合流程要求和安全规范,保障数据资产低冗余、高复用。数据管理平台主要管理的模块有数据标准管理、元数据管理、主数据管理、数据质量管理、数据生命周期管理和数据安全管理。

八、数据服务平台

数据服务平台将公共数据功能抽象并封装为数据API,实现了数据即服务DaaS,高效地响应了业务需求。数据服务平台实现了数据资产随时随地可调用和可复用,并且数据服务的使用全流程也通过在线化和数据化的方式实现,全流程可追踪和可回溯。

因此,数据中台框架满足高可用性和高健壮性,才能达到数据中台服务化的终极目标。

posted @ 2022-10-13 18:12  梯度科技  阅读(207)  评论(0编辑  收藏  举报