2016年8月6日

Spark 源码解析：TaskScheduler的任务提交和task最佳位置算法
摘要： 上篇文章《 Spark 源码解析 : DAGScheduler中的DAG划分与提交》介绍了DAGScheduler的Stage划分算法。本文继续分析Stage被封装成TaskSet，并将TaskSet提交到集群的Executor执行的过程在DAGScheduler的submitStage方法中，将Stage划分完成，生成拓扑结构，当一个stage没有父stage时候，会调用DAGScheduler... 阅读全文
posted @ 2016-08-06 09:59 听风居士 阅读(2667) 评论(0) 推荐(0) 编辑

导航