分布式调度

分布式调度两大任务：

　　任务调度：大量计算任务、任务如何切分、数据如何分割、运算、监控运算状态。

　　资源调度

1、任务调度

2、资源调度

3、容错机制

4、规模挑战

5、安全与性能隔离

6、分布式调度发展方向

 

一、任务调度

• 大量计算任务
• 任务如何切分
• 数据如何分割、运算
• 监控节点运行状态

二、资源调度

• 供给方
• 不同业务的平衡
• 优先级抢占

 

 

 

分布式调度系统比较：

hadoop MR:

Job Tracker：资源调度、任务调度

Task Tracker（在Job Tracker注册）：任务调度

问题：

1、规模扩展存在瓶颈（每个Task Tracker需要在Job Tracker注册信息，过多Task Tracker占用过多内存）

2、容错性查，Job Tracker单节点没有容错

3、不利于功能扩展，不同任务采用不同调度策略

如何做到不同部门对调度策略的不同要求

如何做到热拔插：在不停止进程运行的情况下，改变系统的调度行为

YARN：比hadoop支持更大规模

将资源调度和资源调度分离：

Resource Manager：资源调度

APP Mstr：任务调度

问题

1. 只支持内存维度的调度，不能支持CPU、磁盘、网络等维度调度
2. 资源交互性能

Mesos(伯克利大学)

有一个中心化的资源调度系统，将任务调度从资源调度分离，

问题：

Aliyun-Fuxi：将资源调度和任务调度分离

App Master

Fuxi-Master：类似Resource Manager，负责资源调度

Tubo：每个节点都有，

Package Manager：

用户提交任务给Fuxi Master，Fuxi Master启动App Master，同时App Master向

在VLDB 2014 Fuxi论文

http://www.vldb.org/pvldb/vol7/p1393-zhang.pdf

 

 

任务调度

当数据量增加的时候怎么办？

对海量数据如何并发处理？

分布式调度需要解决的问题

输入数据-->Map（切割）-->中间数据-->Reduce（归约）