Spark任务执行各对象创建的时机
1.SparkContext哪一端生成的?
Driver端
2.DAG是在哪一端被构建的?
Driver端
3.RDD是在哪一端生成的?
Driver端
4.广播变量是在哪一端调用的方法进行广播的?
Driver端
5.要广播的数据应该在哪一端先创建好再广播呢?
Driver端
6.调用RDD的算子(Transformation和Action)是在哪一端调用的
Driver端
7.RDD在调用Transformation和Action时需要传入一个函数,函数是在哪一端声明和传入的?
Driver端
6.RDD在调用Transformation和Action时需要传入函数,请问传入的函数是在哪一端执行了函数的业务逻辑?
Executor中的Task执行的
7.自定义的分区器这个类是在哪一端实例化的?
Driver端
8.分区器中的getParitition方法在哪一端调用的呢?
Executor中的Task中调用的
9.Task是在哪一端生成的呢?
Driver端
10.DAG是在哪一端构建好的并被切分成一到多个State的
Driver端
11.DAG是哪个类完成的切分Stage的功能?
DAGScheduler
12.DAGScheduler将切分好的Stage以什么样的形式给TaskScheduler
TaskSet
真正的改变,从来都是静默无声的。很多事情做不到的爱可以做到。做一个充满爱意的人儿。允许。
声援博主:如果您觉得文章对您有帮助,可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力!