如何建设数据中台

为什么要建设数据中台

如果你的公司或者你的数据部门遇到以下 5 个问题的时候，可以借助数据中台来帮助你解决问题。

• 指标口径不一致。当公司的指标数量达到一定规模的时候，指标存在命名相同定义不同的问题。例如DAU（Day Active User），Day的定义可以是0-24时的自然日，也可以是类似2点-2点这种ETL开始数据调度的日期，像一些海外新项目，不同的地区属于不同的时区，也会有不同的时间。所以DAU对于不同的岗位视角或者业务视角，Day的定义也有所不同。这就会造成口径不一致。
• 数据重复建设。数据重复建设主要包括两种情况，一种是数据中台类型和业务型小中台会出现很多数据重复性建设的问题，另外一种是业务线上不同岗位的人。从商业分析师的工作习惯来说，他们会进行很多多口径实验，对数据产出、更新迭代以及维度指标的要求比较丰富，这就导致了重复性建设问题。
• 取数效率低。一般大厂都有几万张的表，不同的表从ODS层到APP层各分布在不同的层级，这样便造成了信息的不透明不对等，从而导致取数效率低。
• 数据质量差。由于多烟囱、多岗位、多部门式情况的存在，导致数据无法全链路勾连，不能成为全链路中的一个血缘，因此必然会产生数据质量差的问题。
• 建设成本高。上述问题导致了数据在计算、存储上建设成本高的问题，可能不同部门的人都需要从头到尾了解研发流程的每一个细节，其中的坑每个人都会踩一遍，浪费研发人员的时间精力成本。

 

什么是数据中台

 

数据中台是是集方法论、组织和工具于一体的，快、准、全、统、通 的智能大数据体系，它在数据赋能业务中形成业务模式，在推进数字化转型中实现业务价值。它由基础技术平台、数据构建与管理平台、数据资产管理与运营平台、数据服务平台等组成，对外提供：咨询服务、平台能力、实施服务。

 

1.咨询服务

在客户数字化战略规划基础上，结合客户数字化转型顶层规划和数字化转型蓝图设计，在转型规划阶段，针对数据中台建设提供业务规划、中台建设、资产运营、价值评估全流程技术咨询服务，推进企业数字化转型，服务内容包含数据中台蓝图设计、数据中台建设方法、数据资产管理与运营咨询、数据应用设计咨询等。数据咨询规划服务主要面向准备或已启动数据中台建设的企业。

 

2.平台能力

在客户数字化转型蓝图设计和数据中台数据咨询规划的基础上，通过搭建大数据平台、数据资产平台、数据服务平台等方式进行数据资产化建设，服务内容包含数据架构管理、数据标准管理、数据质量管理、元数据管理、主数据管理、数据安全管理、数据服务管理等。数据资产建设服务主要面向正在建设数据中台，准备做落地实施的企业，可与数据咨询规划服务配套。

 

3.实施服务

在数据中台数据资产建设的基础上，打造成熟行业数据应用场景，推动数据与业务的深度融合，充分发挥大数据的乘数效应和倍增作用，实现数据资产“最后一公里”的价值传递，满足各级政府、社会组织和广大民众对预测性分析、指导性分析等深层次应用需求，服务内容包含洞察分析、智能搜索、关系网络分析、智能推荐、智能风控等。数据应用建设服务主要面向正在建设数据中台，准备做落地实施的企业，可与数据咨询规划服务、数据资产建设服务配套。

 

数据中台赋予企业，尤其是数据驱动的企业的能力包括：

• 分布式数据平台
• 丰富的数据源接入和处理
• 科学的建设模式方法论
• 一站式的数据开发
• 数据资产在线化
• 创新的数据应用

 

搭建数据中台的流程

了解了数据中台的概念和能力之后，如何来搭建数据中台呢？

 

首先要从需求出发，以终为始，规划好 数据中台的数据咨询规划服务、数据资产建设服务、数据应用建设服务能力。其次，为每个建设服务定义好实施的步骤，包括：

• 交付前置：立项、兵力部署。
• 需求调研：业务需求和成功时的样子。
• 方案设计：系统架构、降级、扩展、容灾方案设计。
• 开发实施：开发、联调、测试。
• 试运行：校验和双跑。
• 上线维保：上线部署和上线后的、监控和维护。

 

每个步骤都有可复用的工具，如：数据盘点工具、数据探查工具、数据建模工具、数据集成工具、数据回刷工具、代码扫描工具以及数据校验工具。

通过这些工具、以及每个实施步骤的交付物，保障建设数据中台功能的顺利实施。

 

建设数据中台的方法和技术

基于上述介绍的建设数据中台的流程，通过科学的方法和技术，能够保障数据中台的实施。建设数据中台的方法和技术可包含：以业务为驱动、基于 OneData 的数据模型分层设计、数据仓库开发、数据测试与集成、数据管理体系。

 

1.以业务为驱动

 

“以业务为驱动”的含义是要分析现状，发现问题，确定要分析的主题，明确指标体系和下钻维度，形成需求文档乃至实施计划书。

 

2.基于 OneData 的数据模型分层设计

 

基于维度建模的方法论，遵循 OneData 的理念，分层开发数据。数据只计算一次，派生指标和复合指标基于原子指标计算得出，避免重复开发，容易造成口径不一致。

 

3.数据仓库开发

 

 

 

 

4.数据测试与集成

 

数据开发完成之后，需要进行严格的验证，确保新老指标的口径一致。如果指标的口径有变更，需要搭配指标口径变更文档以及指标的版本管理。

 

5.数据管理体系

 

数据、指标上线之后，要能够提供数据洞察的能力，多个模块互相配合，形成数据管理体系，提供指导运行，甚至是辅助决策的能力。

 

上述建设数据中台的方法不仅仅是技术开发方面的工作，也包含管理和业务方面的工作。可将上述方法和技术划分为：管理层、数据层、应用层、业务层，概括为：数字化工作台。

 

管理层：包括权限管理、账号管理、产品管理、策略管理、平台管理。

数据层：包括数据资产构建与管理、主题库建设，如：人员主题库、项目主题库、资产主题库、客户主题库、生态主题库。

应用层：包括交付技术应用和政企客户应用。其中，交付技术应用涵盖了：待办消息、工单管理、服务日历、标准中心、工具中心、文档中心；政企客户应用涵盖了：人员管理、企业信息、项目管理、结算管理、我的工单、待办消息。

业务层：包括风险预警、知识搜索、客户洞察、人员画像、智能决策。

 

建设数据中台的方法和技术可以划分成更加精细的能力项。具体细分为数据管理与治理、运维管理、数据处理与分析、数据开发、数据安全、数据服务、数据集成、数据存储共8个子能力域，以及更细分的32个能力项，每个能力项之下还有更详细的分级能力要求，共计283项，将会在未来的文章中进行讨论。

 

总结

 

本文从业务问题出发，介绍了什么是数据中台，数据中台的能力，解决 指标口径不一致、数据重复建设、取数效率低、数据质量差、建设成本高等问题。要建设数据中台，不仅仅是技术层面的支撑，更需要管理层面和业务层面的支持，需要遵循可实施的流程以及科学的方法和技术。一个成功的数据中台应当具备咨询服务、平台功能、实施服务的能力。