摘要：
1.1. hadoop远程过程调用1、 远程接口调用（必须实现VersionedProtocol接口）里面有一个方法，IPC通信时会比较客户端和服务端接口的版本号。必须一致才可以package rpc;import org.apache.hadoop.ipc.VersionedProtocol;pu... 阅读全文
摘要：
1.1. java动态代理java.lang.reflect包下的Proxy（创建代理对象）和InvocationHandler（调用转发）两个类代理对象代表目标对象（target）执行相应的活动静态代理：代理对象实现目标对象一致的接口，实现代理接口和调用转发 （不推荐使用）在调用前后的附加逻辑，体... 阅读全文
摘要：
1. hadoop远程过程调用RPC：XML-RPC，JSON-RPC，CORBA，RMI（Remote Method Invocation）,Haoop IPC(进程间通信)RPC原理：允许本地程序（客户端）调用其他机器（服务器）上的过程，客户端使用参数将信息传送给调用方，通过返回值得到消息。RP... 阅读全文
摘要：
1.1. 压缩减少存储空间，加快传输速率在hadoop中，压缩应用于文件存储、Map端到Reduce端的数据交换等情景。hadoop，主要考虑压缩速率和压缩文件的可分割性压缩算法：时间和空间的权衡 更快的压缩和解压缩效率通常压缩比较低。hadoop提供了对压缩算法的编码和解码器类编码和解码示例（采用... 阅读全文
摘要：
1.1. 序列化org.apache.hadoop.io包序列化：将一个对象编码为一个字节流反序列化：相反过程用途：1、 作为一种持久化格式：可存储在硬盘上，供以后反序列化使用2、 作为一种通信数据格式：可在JVM之间，通过网路相互传递3、 复制的机制：深度复制1.1.1. java内建序列化机制：... 阅读全文