2017年12月24日
Spark TaskScheduler 概述
摘要： TaskScheduler 原理： 1. DAGScheduler 在提交Taskset给底层调度器的时候是面向接口TaskScheduler的， 这符合面向对象中依赖抽象原则，带来底层资源调度器的可插拔性， 导致Spark可以运行在众多的资源高度器模式上。例如： Standalone, Yarn, 阅读全文
posted @ 2017-12-24 18:24 一剑侵心 阅读(1191) 评论(0) 推荐(0) 编辑
Spark Executor 概述
摘要： Spark Executor 工作原理： 1. 在CoarseGrainedExecutorBackend启动时向Driver注册Executor，其实质是注册ExecutorBackend实例，和Executor实例之间没有直接关系 2. CoarseGrainedExecutorBackend 阅读全文
posted @ 2017-12-24 12:00 一剑侵心 阅读(4670) 评论(0) 推荐(3) 编辑