数据中台技术汇(二)| DataSimba系列之数据采集平台

继上期数据中台技术汇栏目发布DataSimba——企业级一站式大数据智能服务平台,本期介绍DataSimba的数据采集平台。

DataSimba采集平台属于DataSimba的数据计算及服务平台的一部分, 负责数据的导入, 从而支持上层的数据处理。 DataSimba的定位是面向企业私有化部署,决定了采集平台面临要解决的问题和传统的互联网公司不太一样:

1、企业使用的数据库类型多且杂, 包括很多非主流的数据库;

2、企业的数据管理水平参差不齐, 依赖数据规范(如:维护列modify_time判断记录是否修改)的导入方式推行困难;

3、需要支持的场景比较复杂, 包括:流处理、增量处理、批处理;

4、企业的数据平台规模一般较小,资源有限, 需要更好的平衡计算成本与效率。

 

采集平台总体架构

 

整个采集平台核心为DataX与DataS两个采集组件:

DataX:

·阿里开源的数据集成组件,通过jdbc,以查询的方式支持通用的关系行数据库导入;

·DataSimba 同时支持向导模式和脚本模式。

·可扩展支持NoSQL、FTP等。

 

DataS:

奇点云针对复杂的企业数据环境开发的, 基于数据库日志(类似binlog)同步数据的工具, 主要特征如下:

·配置简单: 整库导入配置只需要一分钟, 支持实时抽取、增量落盘、全量合并;

·基于数据库Log采集, 以减少对企业现有系统的侵入。 目前支持Mysql, Sqlserver, Oracle, Postgres, MongoDB;

·支持多种业务场景, 包括:实时计算, 增量计算(10m~1h), 全量批处理(>1h);

·高效的数据合并性能, 节省计算资源;

·schema自动同步;

 

DataX vs DataS:

·DataX通过查询(即Select)方式, 而DataS通过解析数据库日志;

·DataX 支持数据源更广, DataS支持数据源较少(见下表);

·DataX 对数据源压力较大, 而DataS对数据源压力较小;

·DataX 需要数据源有较大的空闲时间窗口, 用于抽取数据。 而DataS不需要;

·DataX 需要维护类似modify_time字段做增量抽取, 而DataS不需要;

·DataX 无法跟踪记录变更过程, DataS可以跟踪;

·DataX 不支持实时数据采集, DataS支持秒级的数据采集;

DataSimba在采集数据时优先使用DataS的方式。

 

为什么要做DataS

早期的Simba使用DataX导入数据, 在企业部署过程中遇到很多问题, 如:

·某快消企业, 数据库本身的压力就比较大, 且没有大段的空闲窗口用于数据采集, 采用DataX抽取难度较大。

·某企业, 数据库每日增量较少(~10GB), 但全量数据较大(>20T), 导致增量与全量合并的效率较低, 消耗资源比较多。

·某金融企业, 需要在数仓中跟踪账户余额的每一次变动, 又要不侵入现有的业务, 采用DataX的方式无法做到。

·某企业大屏, 需按小时刷新, 统计数据量较大, 采用流式计算成本较高, 实现比较复杂。 采用DataX又无法做到小时以内的采集频率。

以上只是在simba部署过程中碰到的一部分内容。 为了解决碰到的种种问题, 我们最终决定开发一套新的采集工具: DataS。

DataS 技术方案

DataS 的目标是: 配置维护简单, 支持多种数据源, 支持多种应用场景, 尽可能高效。

与cannal/maxwell等binlog采集工具相比, DataS支持更多的数据库类型:

实时采集数据流程

实时采集的主要流程如下:

1、 数据源端创建访问账号, 设置权限和日志配置项

2、 simba平台上配置数据源

3、 simba平台上创建导入任务, 选择导入的库和表, 确定是否合并

4、 发布导入任务

5、 DSExtracter从数据库源拉取全量快照, 作为初始化导入数据

6、 DSExtracter实时解析数据库日志, 以增量的方式解析新增数据到kafka

7、 DSLoader 按照设定的周期(通常是10分钟)将新增数据落盘到增量数据层(INC)

8、 DSMerger 定期(通常是30分钟)将新增数据与全量数据合并到ODS

9、 后续的计算以增量或者全量的方式从ODS层消费数据

 

技术亮点

一、高效的合并方案

DataS同时保留了增量的日志数据和全量的快照数据, 以支持复杂的企业业务场景。 同时DataS提供了高效的快照合并方案。 以下是DataS合并与基于HBase方案合并的性能比较测试。对于1T以上的数据表增量和全量merge时, DataS有12 ~24 倍的性能提升。

与传统的利用HiveSQL 或者HBase 做merge的方式不同, DataS采用了二级映射的方式, 使最终的合并转化为一个RDD或者一个Map中就可完成的小文件合并, 并避免了不需要合并的文件读取, 如图所示:

 

DataS合并逻辑如下:

1、 DataS会将新增数据划分到不同的hive分区中, 分区可以根据业务自定义;

2、 在一个分区内, DataS利用布隆过滤(Bloom Filter)将数据映射到不同的文件;

3、 新增数据和单一存储文件做局部合并;

 

将整个合并最终划分为小文件的合并, 从而大幅提高了合并的效率。

二. 近实时的数据时延

DataS提供两种合并方式: 写时拷贝(CopyOnWrite)和 读时合并(MergeOnRead)

写时拷贝是指每次增量数据与文件合并时, 都是拷贝两边的数据生成新的全量数据文件。 此种方式合并时性能稍差, 但读数据(统计查询)时性能好一些, 过程如下:

 

 

读时合并是指合并时只将增量数据写入日志文件, 读时(查询统计)再合并重复数据。 同时会定期全量合并。 此种方式的合并效率很高, 数据时延可以达到秒级~分钟级, 但查询时性能稍差, 如图所示:

 

两种方式使用与不同的业务场景: 注重读性能或者注重合并性能。

Datas支持丰富的场景应用

按照数据要求的时延和数据要求的完整性, 计算场景大致可分为三类:

 

其中:

·实时计算: 很多数据时延要求在 毫秒级 ~ 10分钟的场景, 通常采用flink或者spark等计算引擎。 如:监控告警、实时特征等等。

·增量计算:时延要求在10分钟~小时级别, 数据要求增量处理的场景。 如企业大屏、活动效果分析、当日uv等统计数据展示。

·全量批处理: 主要针对各种T+1的报表统计, Simba目前采用Hive引擎。

目前市场上对于实时计算和全量批处理都有成熟的方案, 但对于夹缝中的增量计算支持的都不太好。增量计算无论是采用流式实时处理, 还是采用全量批处理, 都比较浪费资源, 且效果不理想。 DataS可以支持增量的采集、合并、计算, 以较低的计算成本支持了此类场景。 此外, DataS能很好的支持秒级以上的实时计算和批处理任务。

附-DataSimba数据采集支持的多种数据源

DataSimba的采集平台支持丰富的数据源, 包括:

 

 

posted @ 2019-05-21 09:43  奇点云  阅读(2810)  评论(0编辑  收藏  举报