摘要：
Spark RPC是spark个模块之间通信的基础,之前采用的事akka模型,在1.6之后基于netty编写了类似于akka的通信框架. spark RPC涉及到的类图如下 RpcEnv是RPC模块中的主要的抽象类，其中定义了RPC调用涉及的主要对象和方法。RpcEnv负责注册维护RpcEndpoi 阅读全文
摘要：
sparkcontext是spark应用程序的入口,每个spark应用都会创建sparkcontext,用于连接spark集群来执行计算任务.在sparkcontext初始化过程中会创建SparkEnv,SparkUI,TaskSchedule,DAGSchedule等多个核心类,我们会逐个分析他们 阅读全文