摘要：
1. spark-submit脚本exec $SPARK_HOME/bin/spark-class org.apache.spark.deploy.SparkSubmit "${ORIG_ARGS[@]}"2. SparkSubmit中的main函数def main(args: Array[Stri... 阅读全文
摘要：
网络拓扑：参考：http://blog.csdn.net/lastsweetop/article/details/9065667分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络... 阅读全文
摘要：
一、传统多线程public void start()Causes this thread to begin execution; the Java Virtual Machine calls the run method of this thread.It is never legal to sta... 阅读全文
摘要：
一、 概念： RMI全称是RemoteMethodInvocation－远程方法调用，其威力就体现在它强大的开发分布式网络应用的能力上，是纯Java的网络分布式应用系统的核心解决方案之一。它支持存储于不同地址空间的程序级对象之间彼此进行通信，实现远程对象的无缝远程调用。二、原理：方法调用从客户端对... 阅读全文
摘要：
1. 预编译：主要处理源文件中的以#开始的预编译指令。 （经过预编译后的.i文件不包含任何宏定义，因为所有的宏已经被展开，并且包含的文件也已经被插入到.i文件中）将所有的#define删除，并且展开所有的宏定义处理所有条件预编译指令，比如：#if,#ifdef处理#include预编译指令，将被包含... 阅读全文
摘要：
一、产生 Hadoop MapReduce诞生于搜索领域，主要解决搜索引擎面临的海量数据处理扩展性差的问题。二、MapReduce设计目标： 1. 易于编程：产痛的分布式程序设计非常复杂，用户需要关注的细节非常多，比如数据分片、数据传输、节点间通信等，因而设计分布式程序的门槛非常高。 2. 良... 阅读全文
摘要：
Hadoop提供了一个加单的序列化框架API，用于集成各种序列化实现。该框架由Serialization实现。其中Serialization是一个接口，使用抽象工厂的设计模式，提供了一系列和序列化相关并相互依赖对象的额接口。通过Serialization应用可以获得类型的Serializer实例，即... 阅读全文
摘要：
一、概念把对象转化为字节序列的过程称为对象的序列化。把字节序列恢复成对象的过程称为对象的反序列化。二、用途1. 作为一种持久化格式：一个对象被序列化以后，它的编码可以被存储到磁盘上，供以后反序列化用。2. 作为一种通信数据格式：序列化结果可以从一个正在运行的虚拟机通过网络被传递到另一个虚拟机上。3.... 阅读全文
摘要：
1.tab键自动补全（每次导入时要将脚本的路径加入到sys.path中）import sysimport readlineimport rlcompleterimport atexitimport os# tab completion readline.parse_and_bind('tab: co... 阅读全文