阿里云 MaxCompute(ODPS)

大数据产品架构

BASE - Dataworks

ODPS - MaxCompute

ODPS 功能组成(Open Data Process Service)

ODPS 是旧称,阿里云公有云服务中现称为 MaxCompute 

Tunnel - 高速上传外部数据到 ODPS 内部,也可以高速下载 ODPS 内部数据到外部

ODPS 基本概念

项目空间(Project)

表(Table)

分区(Partition)

任务(Task)

①. — 任务(Task):单个 SQL Query 或者 MapReduce 程序统称为一个任务 。

②. — 工作流(Workflow):有向无环图(DAG),描述各个 Task 之间的依赖和约束 。

③. — 作业(Job):由一个或者多个 Task 以及表示其执行次序关系的工作流(Workflow)组成 。

④. — 作业实例(Instance):作业被提交到系统执行时,就产生了作业实例(动态概念) 。一个 Job(作业)多提交运行就会有多个 Instance(作业实例),Instance 保存了执行时的快照(Snapshot)和返回状态 。

资源(Resource)

ODPS 基础架构

ODPS 整体架构

ODPS 客户端

ODPS 接入层

ODPS 逻辑层

ODPS 计算层

posted @ 2020-11-26 21:01  拨云见日z  阅读(1132)  评论(0编辑  收藏  举报