摘要: 在前面的内容,我们针对于RpcEndpoint启动以及RpcEndpoint消息处理机制进行了详细的介绍,在我们的大脑里,基本上可以构建Spark各节点的模样。接下来的章节将会从Spark如何从业务代码分解为Spark的任务,并最终调度这些任务进行详细的介绍。 前面针对于Client启动过程以及Dr 阅读全文
posted @ 2017-05-26 10:39 hframe 阅读(1327) 评论(0) 推荐(0) 编辑
摘要: 承接上一节内容,Client向Master发起RequestSubmitDriver请求,Master将DriverInfo添加待调度列表中(waitingDrivers),下面针对于Driver进一步梳理 一、Master对Driver资源分配 大致流程如下: waitingDrivers与ali 阅读全文
posted @ 2017-05-26 10:34 hframe 阅读(781) 评论(0) 推荐(0) 编辑