2017年7月10日

Spark核心原理之Executor原理
摘要： Executor是Spark执行任务的进程，Spark启动Executor过程包括如下步骤： 1）使用Spark-submit提交到集群，Master收到RequesSubmitDriver请求。 2）Master调用scheduler把Driver程序发送到worker端执行。 3）Driver执 阅读全文
posted @ 2017-07-10 15:05 innkp 阅读(714) 评论(0) 推荐(0) 编辑
spark核心原理之SparkContext原理（2）
摘要： 任务调度部件TaskScheduler TaskScheduler负责tasks的提交和请求调度，是任务调度的client端。创建TaskScheduler时会获取master配置，配置部署模式，创建TaskSchedulerImpl和SchedulerBackend。 TaskSchedulerI 阅读全文
posted @ 2017-07-10 11:20 innkp 阅读(220) 评论(0) 推荐(0) 编辑

导航