摘要：
这2个概念很容易混淆，需要写一遍文章梳理spark的 DAGschedule & task schedule 区别以及相互联系在我们的应用程序的mian 方法中我们定义了sparkcontext ，sparcontext 会帮我们生成这两个调度器 DAGschedul... 阅读全文
摘要：
这几个概念很容易混淆，需要写一遍文章梳理Spark的stage & job & task 到底是什么 ,以及划分原理Stage 是spark 中一个非常重要的概念 ，在一个job 中划分stage 的一个重要依据是否有shuflle 发生 ，也就是是否会发生数据的重组... 阅读全文