摘要：
继续前一篇的内容。前一篇内容为： Spark中Worker源码分析（一）http://www.cnblogs.com/yourarebest/p/5300202.html 4.receive方法， receive方法主要分为以下14种情况： （1）worker向master注册成功后，详见代码 （2 阅读全文
摘要：
Worker作为对于Spark集群的健壮运行起着举足轻重的作用，作为Master的奴隶，每15s向Master告诉自己还活着，一旦主人（Master》有了任务（Application），立马交给属于它的奴隶们（Workers），那么奴隶们就会数数自己有多少家当（比如内存、核数），量力而行地交给主人完 阅读全文
摘要：
Spark 1.6+推出了以RPCEnv、RPCEndpoint、RPCEndpointRef为核心的新型架构下的RPC通信方式。其具体实现有Akka和Netty两种方式，Akka是基于Scala的Actor的分布式消息通信系统，Netty是由JBOSS提供的一个java开源框架。Netty提供异步 阅读全文
摘要：
我们可以从start-all.sh脚本源文件中看到它其实是start-master.sh和start-slaves.sh两个脚本的组合。 由图2可见，start-master.sh最终是通过类org.apache.spark.deploy.master.Master来完成的，待会儿我们分析. 由图3 阅读全文