ACA - 大数据开发套件 DataIDE

DataIDE产品概述

大数据开发套件(Data IDE)是阿里云数加重要的Paas平台产品,基于MaxCompute作为核心的计算、存储引擎,提供了海量数据的离线加工分析、数据挖掘的能力。提供全面托管的工作流服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。

1.数据开发流程

2.DataIDE应用场景

■将业务系统产生的数据轻松上云，构建大型数据仓库和BI应用,利用MaxCompute强大的海量存储与数据处理能力
■基于大数据开发套件快速使用和分析数据,将大数据加工结果导出后直接应用于业务系统，实现数据化运营
■针对作业调度与运维的复杂性,大数据开发套件提供统一友好的调度 系统和可视化调度运维界面，解决运维管理不便等问题

3.基本概念

任务( Task ) :

对数据执行的操作，通常每个任务使用0或0个以上的数据表(数据集)作为输入,生成一个或多个数据表(数据集)作为输出。DataIDE 中任务主要分为三种:节点任务、工作流任务以及内部节点。

实例( Instance) :

代表了某个任务在某时某刻执行的一个快照,包含任务的运行时间、运行状态、运行日志等信息。在调度系统中的任务经过调度系统、手动触发运行后会生成一个实例。 在DataIDE的调度系统自动调度的任务,会提前生成对应的实例。

提交(Submit) :

提交指开发的节点任务、工作流任务从开发IDE环境发布到调度系统的过程。完成提交以后,相应的代码、调度配置全部合并到调度系统中,调度系统按照相关配置进行调度操作。未提交的节点任务、工作流任务不会进入到调度系统。

4.DataIDE项目中的角色