摘要：
HDFS中很有意思的一点是，它的控制消息的传输和数据消息的传输采用的是不一样的模块。这也是接下来我想探讨的重点。HDFS中所有的控制消息的传输都基于它自实现的RPC模块,之前已经讨论过。但是，Hadoop自己的RPC机制不太适合大数据量的传输，因为两个Node之间只用一个socket进行通信，网络的吞吐量不一定上得去。而事实上，HDFS确实没有用RPC机制传输数据消息。当HDFS中的DFSClient对DataNode上保存的文件数据进行读写的时候，它其实采用了另外一个机制.简单而言，HDFS分为了三个部分： NameNode，处于master的地位，维护了数据在DataNode上的分布情况， 阅读全文
摘要：
原文地址：http://www.supermind.org/blog/520/using-hadoop-ipcrpc-for-distributed-applications本文来自于：http://gpcuster.cnblogs.com译文：关于Hadoop IPC我们一起来了解Hadoop IPC，这是一个内进程间通信（Inter-Process Communication）的子系统。Hadoop IPC被用于在一个进程的程序与另一个进程的程序进行通信Hadoop IPC 1.与SOAP和XML-RPC不同，Hadoop IPC使用java中的DataOutputStream与DataI 阅读全文
摘要：
转自：http://blog.csdn.net/xhh198781/article/details/7280084 在前一篇博文中，我已经详细的讲解了Hadoop RPC中客户端通信组件的实现，与之对应的就会有一套服务器端通信组件的实现。Hadoop RPC的服务器端采用了多线程的设计，即服务器会开启多个处理器(后天线程)来处理所有客户端发送过来的RPC调用请求，所以在服务器端主要包括三个组件：... 阅读全文
摘要：
转自：http://blog.csdn.net/xhh198781/article/details/7268298在Hadoop中为了方便集群中各个组件之间的通信，它采用了RPC，当然为了提高组件之间的通信效率以及考虑到组件自身的负载等情况，Hadoop在其内部实现了一个基于IPC模型的RPC。关于这个RPC组件的整体情况我已绍经在前面的博文中介绍过了。而在本文，我将结合源代码详细地介绍它在客户端的实现。 先来看看与RPC客户端相关联的一些类吧！1.Client类[java] view plaincopyprivate Hashtable<ConnectionId, Connection 阅读全文
摘要：
转自：http://linxucn.blog.51cto.com/1360306/660080概述：其实JDK的动态代理，实际上就是“反射”与“执行时动态生成字节码”二者的结合体；其实spring的AOP和Hadoop的RPC都是基于JDK的动态代理。一.相关类及其方法:java.lang.reflect.Proxy, Proxy 提供用于创建动态代理类和实例的静态方法. newProxyInstance() 返回一个指定接口的代理类实例，该接口可以将方法调用指派到指定的调用处理程序 (详见api文档) java.lang.reflect.InvocationHandl... 阅读全文
摘要：
转自：http://weixiaolu.iteye.com/blog/1544860一．心跳机制 1. hadoop集群是master/slave模式，master包括Namenode和Jobtracker，slave包括Datanode和Tasktracker。 2. master启动的时候，会开一个ipc server在那里，等待slave心跳。 3. slave启动时，会连接master，并每隔3秒钟主动向master发送一个“心跳”，这个时间可 以通过”heartbeat.recheck.interval”属性来设置。将自己的状态信息告诉master，然后mast... 阅读全文