摘要：
进入Worker类源码：可以看出Worker本身是Akka中的一个Actor。进入Worker类的LaunchExecutor：从源代码可以看出Worker节点上要分配CPU和Memory给新的Executor，首先需要创建一个ExecutorRunner：ExecutorRunner是用于维护ex... 阅读全文
摘要：
注册Master有两种，一种是registerWithMaster方法，一种是tryRegisterAllMasters方法，前者是单Master的情况，后者是多Master，一般情况下是满足HA机制，我们看一下registerWithMaster方法：此时会调用tryRegisterAllMast... 阅读全文
摘要：
首先从SparkContext中TaskScheduler实例的创建开始：进入taskScheduler.start()方法内部：进入其实现者TaskSchedulerImpl内部：可以发现在start具体实现的内部首先是有个backend.start方法：其最终具体的实现类为：从代码中可以看出，我... 阅读全文
摘要：
RDD的核心方法：首先看一下getPartitions方法的源码：getPartitions返回的是一系列partitions的集合，即一个Partition类型的数组我们就想进入HadoopRDD实现：1、getJobConf()：用来获取job Configuration，获取配置方式有clon... 阅读全文