摘要：
receive 方法其实是大量的case，分别对应处理不同的场景 一.case msg: RegisterWorkerResponse 二.case SendHeartbeat 三.case WorkDirCleanup 四.case MasterChanged 五.case ReconnectWo 阅读全文
摘要：
一.main函数详解 def main(argStrings: Array[String]): Unit = { Thread.setDefaultUncaughtExceptionHandler(new SparkUncaughtExceptionHandler( exitOnUncaughtEx 阅读全文
摘要：
一.Master recive方法总结 1.1 公共方法介绍及发送的消息介绍 schedule():方法很重要，基本上所有的方法都会调用这个 launchDriver() launchExecutor() all: worker.send(LaunchDriver) worker.send(Laun 阅读全文
摘要：
Master recive全部方法 一.case ElectedLeader => ...... 二.case CompleteRecovery => ...... 三.case RevokedLeadership => ...... 四.case WorkerDecommissioning => 阅读全文
摘要：
Master recive全部方法 一.case ElectedLeader => ...... 二.case CompleteRecovery => ...... 三.case RevokedLeadership => ...... 四.case WorkerDecommissioning => 阅读全文
摘要：
Master recive全部方法 一.case ElectedLeader => ...... 二.case CompleteRecovery => ...... 三.case RevokedLeadership => ...... 四.case WorkerDecommissioning => 阅读全文
摘要：
源码地址："https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.1.3/spark-3.1.3.tgz" 一.spark源码中基础概念的介绍： 1、RpcEnv：RPC包装对象类似于sparkcontext对象2、RpcEndpoint 阅读全文