大数据开发平台

1、大数据开发平台
2、数据流转过程
数据采集
i、通过阿里组件DTS通过解析binlog，发送到kafka。
ii、通过数据开发平台，高阶计算，发送实时运行程序，spark程序进行数据存储到hudi。
iii、数据分析师，通过数据开发平台，完成数据处理，存储到hive。
IV、经过二次加工存储到doris,starrocks。
V、通过数据开发平台的数据集成模块，通过seatunnel组件，完成其他应用数据共享。
VI、同时提供数据服务。
数据开发平台也对外开发接口，用户画像和指标系统。直接进行数据开发SQL的管理与发布。