内含干货PPT下载｜一站式数据管理DMS及最新解决方案发布

简介： 今天主要给大家介绍一站式数据管理平台DMS以及解决方案的发布。议题包含企业数据管理当前的一些痛，DMS一站式数据管理平台以及其核心技术，实时数仓解决方案以及相应的应用实践。

“数聚云端·智驭未来”——阿里云数据库创新上云峰会暨第3届数据库性能挑战赛决赛颁奖典礼已圆满结束，更多干货内容欢迎大家观看峰会直播回放。

峰会直播回放📎数聚云端 · 智驭未来——阿里云数据库创新上云峰会-技术公开课-阿里云开发者社区

中国数字经济的占比在持续的提升，在企业经营管理过程中行业的头部集中效应使得精细化运营成为一个非常重要的话题，那么企业的数字价值挖掘就变得越来越重要。

回看一个企业内部整个数据生产的生命周期，包含的数据生产与存储，数据的处理和分析以及数据应用，但实际上很少有一个平台把这三个方面全部打通做成统一支撑的平台。大部分企业随着各个业务的发展会产生根据业务特点定义的数据存储生产系统，企业的数仓分析也大部分是独立建设的，在这个过程中如何实现数据系统之间的打通和价值挖掘,就变成比较困难的问题。所以在各个报告里面我们看到在2022年新业务使用实时数据的占比会达到50%以上。

企业在真正实践过程中就会遇到数据孤岛以及管理数据的问题，数据库类型非常多，数据链路的加工过程就非常复杂，维护成本非常高，稳定性的问题挑战很大。如何进行多种异构数据的统一管理，如何去做安全治理都变成很有挑战的问题。在这个背景下阿里云数据库提出了一站式数据管理平台DMS理念。

DMS统一管理企业的数据资产，包括数据库的开发和设计、数据集成与加工、数据开发、数据分析、数据应用，整个过程全面打通。从架构图看到，底层对接各种异构的数据源，在中间沉淀了类似数据血缘，数据治理，数据编排，和任务调度，这些都会成为我们中间很重要的数据支撑能力。上层我们会把应用的场景产品化，比如数据安全管理，容灾/多活能力，数据归档、实时数仓构建等等一些能力产品化，这样就可以让更多的企业低门槛去使用数据解决方案。

整体技术的架构分三层建设，底层基础服务提供数据安全体系，数据资产管理的体系，开发运营体系。中间的支撑引擎主要分成管控平面和数据平面两个部分，控制平面包含任务执行引擎以及稳定变更相关的引擎建设；数据平面包含数据结构的迁移，全量/批的数据同步以及实时的流的数据同步、数据转换，以及多源异构的联邦查询能力。上层是业务功能，主要面向像数据安全、数据库的DevOps，包括数据集成和数据开发相关的应用场景。

DMS包含了几个重要的核心技术特性，主要包括数据资产与安全，数据库DevOps能力以及数据集成与开发。

在整个数据资产与安全方面，其实最核心构建的是整个全域数据资产管理，让企业数据不需要进行物理集中就能够快速找到所要的数据进行数据资产的治理，同时能够让数据本身的管理覆盖整个生命周期的安全。

展开两个点来讲，一个是数据的知识图谱的构建。我们会把业务数据以及它真正的物理元数据全部都采集回来让业务能够打标，用schema matching相关的技术去学习数据之间字段之间的关联关系，把业务的逻辑定义和物理定义映射起来。同时业务在使用DMS开发平台过程中会沉淀人员、数据和权限相关的一些关联关系以及业务相关领域的数据标记，这些东西会构建成整个数据资产关联关系知识图谱，这个知识图谱就可以应用在多源异构的各种数据类型，怎么样去根据业务的要求去做一个数仓的宽表，那么数据之间关联关系的构建过程中，企业的数据工程师就不需要对所有的数据模型非常的熟悉，因为DMS能够把这些能力提前的沉淀到系统里面，进行选择筛选过滤，就得到这个数仓的宽表，以及可以通过这个知识图谱的能力能够让企业的数据治理数据安全管理变得更加的可控。

关于敏感数据识别，企业内部的所有数据进行统一管理后，平台就可以帮你自动把数据进行分级分类，在分级分类的基础上可以进行包括GDPR的在内的五种法案的敏感数据自动识别自动发现，企业可以使用我们超过15种的脱敏算法在应用生产过程中。我们也提供了安全代理的能力，让企业不需要有数据库的账号也可以动态的实现数据的查询和脱敏。

第二个部分的核心能力是DevOps，安全和整个开发平台是结合在一起的。我们的整个平台其实有点像workbench是面向开发者的，底下对接着非常多的数据源，上面提供丰富的开发者开发工具集，因此DMS的平台在云上已经有超过10万个周活用户，它会帮助用户去做数据库的表结构设计，数据变更，以及相关的发布。我们提供安全规则引擎，它会内嵌在企业数据库开发的整个操作过程中，开发者会在一个受控的权限体系里面获得最大的便利性，安全和效率得到很好的平衡，这是整个设计的核心的理念。

安全规则引擎本质是把企业的结构设计、数据变更、数据导出等等操作和操作的具体对象，比如对应的数据库类型（每种数据库类型可能都有不一样的最佳实践），以及对应的工单人员等等串起来，形成操作人、操作动作、操作对象相关的权限映射。阿里内部沉淀了超过两百多的研发规范模板可以默认使用，也可以由企业内部根据需求来定义自己的DSL，能够很方便的去定义安全规则能力。

在变更部分也实现了变更安全能力，变更安全可以理解是企业变更发布过程中的安全能力，包括像SQL安全的审核，以及正式的SQL执行的过程中，对于表结构或者大批量数据操作，变成多次的小批量，通过SQL自动改写防止源库的稳定性抖动，包括表结构的变更的锁表的问题变成不锁表变更，等等一些细粒度的变更安全的把控。

再往下其实就是要去发挥数据价值，我们重点建设像流批一体这样的数据传输链路，包括低代码的开发平台，通过多引擎的计算能力的支持来构建整个数据集成与开发的能力。

整个DMS底下的数据传输会基于阿里云底层建设的数据传输服务，传输服务DTS是主流云厂商中最早发布的数据传输产品，它实现了多源异构数据的实时传输，在实时性以及稳定性上面已经经过很好的锤炼。

在结构迁移全量以及增量的整个链路实现了完整的实时数据的传输，同时对于半结构或者是非结构化数据也会通过语义的识别，元数据的自动构建，包括数据类型的自定义，去构建数据的快速入库和入仓，把这些数据变成可分析可使用的一种数据资产。

整个流批一体的数据架构最主要的是整个体系建设里面使用了Recored Store内存数据处理的模块，流和批处理转换一致，整个数据加工处理过程变得很简单。

在数据开发者的界面上，我们提供了拖拉拽的方式去定义数据的加工流程，数据源以及SQL操作的节点，数据传输的节点，数据转换都变成可以通过拖拉拽去定义。企业的应用工程师、数据库开发者都可以去做这种数据加工定义。

阿里云实时数仓构建解决方案中使用的是库仓一体的技术架构，就是数据库和数据仓库是一体化统一管理的技术架构。相比以前很多做数据链路时会把在线数据拉到一个离线存储去计算，再把计算结果回流到在线生产系统里面，这个流程非常长，数据链路和存储成本都会相应的比较高。我们实时数仓构建的解决方案是在你做全量数据初始化的时候不需要在目标端进行表结构的初始化，我们在批量数据过程中会帮你把表结构自动在目标构建。做增量数据过程中，源端发生任何的表结构变更或者源端的主备切换等变更，都不会影响整个链路的稳定性，会在目标端实现这个表结构的同步，对整个链路自动透明掉。

接下来通过两分钟视频了解DMS实时数仓构建解决方案。如何通过数据来提升生产力成了企业不断探索的方向，而数据仓库在其中发挥着关键作用。传统数仓一般基于T+1数据集成，构建离线数仓以支撑企业各项分析与服务，该方案不但会影响线上业务稳定性，且难以支持企业高频变化的实时需求，企业由此开始建设实时数仓。那么怎样构建一个企业及实时数仓呢？接下来为大家介绍如何通过阿里云一站式数据管理平台DMS和云原生实时数据仓库VB引擎来构建与在线系统增删改的延时保持在一秒内的实时数仓DMS支持两种实时数仓构建方案，实时数据入仓及基于实时拉链表的T+1周期性快照。

其中实时数据入仓支持两种方式。方式一，通过DMS实现历史全量+增量数据实时同步至ADB 实时数仓。方式二，通过DMS数据传输与加工模块进行实时数据加工后写入ADB实时数仓。为了满足业务上对于T+1快照数据需求，DMS推出了一种不影响线上业务的T+1周期性快照方案。下面介绍该方案使用方式。

通过DMS与工单模式可快速搭建基于实时数据的周期性快照，既能支持小时/天维度的快照分析，也能够支持回溯任意业务时间点进行分析，从而支持业务侧按不同时间统计总存款、总余额、总订单额等场景需求。

阿里云实时数仓构建方案相较其他方案提供了如下优势，一、数据时效性高，且实时链路对业务侧影响小，不会因为批量拉取数据影响业务侧正常运行。二、实现库仓一体的一站式数据管理，源端运维变更对链路无感知，保障多元数据汇聚时效性、稳定性和全链路血缘。三、内置复杂实时数据加工、计算逻辑、处理链路短。四、低代码操作能够大大降低实时数仓的构建难度，提升构建效率的同时，支撑企业数字化转型过程中的各类实时场景。

下面介绍两个实践，第一个案例：某汽车厂商使用DMS+ADB的解决方案来构建数据集市和营销平台。