摘要: 概述 这篇文章主要是分析一下Pool这个任务调度的队列。整体代码量也不是很大,正好可以详细的分析一下,前面在TaskSchedulerImpl提到大体的功能,这个点在丰富一下吧。 DAGScheduler负责构建具有依赖关系的任务集,TaskSetManger负责在具体的任务集内部调度任务,而Tas 阅读全文
posted @ 2017-09-04 19:51 楚时邀月 阅读(950) 评论(0) 推荐(0) 编辑
摘要: TaskSchedulerImpl概述 TaskSchedulerlmpl是创建三大核心TaskSheduler的实现类,TaskScheduler是一个特征类,DAGScheduler在提交TaskSet给底层调度器的时候是面向接口TaskScheduler,这符合面向对象中依赖抽象而不依赖具体的 阅读全文
posted @ 2017-09-04 19:32 楚时邀月 阅读(792) 评论(0) 推荐(0) 编辑
摘要: sparkEnv概述 sparkEnv是spark的执行环境,其中包括众多与Executor执行相关的对象。在local模式下Driver会创建Executor,local-cluster部署模式或者Standalone部署模式下worker另起的CoarseGrainedExecutorBacke 阅读全文
posted @ 2017-09-04 16:28 楚时邀月 阅读(1086) 评论(0) 推荐(0) 编辑