数据中台的角色和定位

数据中台的概念提出很多年，很多企业运用的也很深入了，虽然听的很多，不过在过往的工作经历中没有体会到数据中台的必要性，对数据中台的角色和定位很模糊。

什么是数据中台？

数据中台有哪些功能？

我的业务是否需要数据中台？

近年由于工作中不同场景的切换应用，体会到数据中台的用武之地，实操了不少数据平台的使用。以工作经历和使用视角进行来诠释数据中台。

 

一、工作中出现的麻烦

1. 需要使用其他业务系统的数据，如何做？

通用做法：和对应业务系统研发团队进行业务对接，定义好需要的业务数据结构，双方通过开发接口实现数据的访问。

弊端：沟通代价大(跨部门甚至跨企业)、实施周期长(从需求、开发到测试对接一整套流程)、开发成本高(普遍需要定制开发费用)。

思考：这种高频出现的需求，能否找到一套直接实现数据间交互的方法，免去不同团队之间的理解拉平成本。

 

2. 历史业务大量沉淀的数据都是文件格式(如excel), 如何利用甚至分析这些数据？

通用做法：需要使用的时候，找到对这块业务很熟悉的同事，进行手工整理及统计。

弊端：数据完整性不确定、数据准确性不确定，数据分析很主观。

思考：是否有工具将这种数据实现定期同步到数据库，进行数据应用和分析。

 

3. 历史数据错误率很高，不同业务系统拥有同纬度数据，但数据又不统一，怎么做数据校验及修正？

通用做法：每个业务系统各成一派，觉得数据不对，进行各自系统的维护。

弊端：无法形成正确有效的数据资产。

思考：建设一套公共数据仓库，统一维护管理，对外通过接口实现数据共享。

 

二、数据中台的诞生

需要一套包含数据入库、数据治理、数据分享的平台来完成上述工作中的痛点，这就是典型的围绕数据仓库的初步数据中台定位。

 

三、数据中台的组成

1. 数据集成(ETL)：通过低代码方式实现数据同步、数据迁移，形成数据数仓化，应该包含功能：数据源管理、离线数据同步、实时数据同步、数据迁移监控及预警等功能

 

 

2. 数据集市(API集市)：通过数据模型、SQL、脚本、存储过程等可以无代码快速实现90%的API快速开发，包含API注解式开发、API网关、API部署及资源监控等功能

 

 

3. 数据清洗平台：定义数据标准，统计及分析数据质量，低代码式数据修复及验证。

 

通过数据集成、数据清洗、数据集市实现数据拿得到、可管理、用起来的业务目标。