spark application调度机制（spreadOutApps，oneExecutorPerWorker 算法）
摘要：
1.要想明白spark application调度机制，需要回答一下几个问题： 1.谁来调度？ 2.为谁调度？ 3.调度什么？ 3.何时调度？ 4.调度算法 前四个问题可以用如下一句话里来回答:每当集群资源发生变化时（包含master主备切换），active master 进程为所有已注册的并且没有 阅读全文
posted @ 2017-09-13 16:06 red_and_black 阅读(638) 评论(0) 推荐(0) 编辑