摘要:
要想明白spark application调度机制,需要回答一下几个问题: 1.谁来调度? 2.为谁调度? 3.调度什么? 3.何时调度? 4.调度算法 前四个问题可以用如下一句话里来回答:每当集群资源发生变化时,active master 进程 为 所有已注册的并且没有调度完毕的applicati 阅读全文
阅读排行榜
- 1. 颠覆你对方法调用的看法!(6064)
- 2. ZooKeeper个人笔记Session管理(5682)
- 3. Spark RDD 多文件输入(5617)
- 4. matlab 求解线性方程组之LU分解(5392)
- 5. Curator leader 选举(一)(5049)
- 6. ZooKeeper个人笔记之节点的监听(5022)
- 7. Spark 自定义累加变量(Accmulator)AccumulatorParam(4724)
- 8. Curator Cache(4119)
- 9. ZooKeeper个人笔记客户端watcher和AsycCallback回调(3908)
- 10. 神奇的莫比乌斯带(mobius)(3811)