RPC实现的底层原理及应用

2016-08-22 14:18 牛仔裤的夏天阅读(1118) 评论(0) 编辑收藏举报

摘要：RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。Hadoop的进程间交互都是通过RPC来进行的，比如Namenode与Datanode之间，Jobtracker与Tasktracker之间等。可以说：Hadoop的运行就是建立在RPC基础之上的。

1.hadoop下载文件流程

hadoop下载文件时，先请求NameNode，返回数据块与位置信息，再从DataNode对应位置取数据拼成完整文件。大致流程如下图：

上图中，可以将Socket程序封装成一个工具框架，可以在任何地方调用，就不用为每个场景单独写程序了。这就是RPC机制。

2.RPC具体过程

RPC通信的过程如下：

如上图，中间部分的细节经过封装，可以不用关心具体实现，服务端启动rpc server，客户端调用rpc get，如此两个业务类之间调用像本地一样，数据的封装用Socket协议直接封装在TCP报文中，效率更高。

3.程序实现RPC调用

定义通讯接口，在服务断和客户端进行通讯时必须同时实现这个接口，接口类代码如下：

package WL.LearnHadoop.rpc;


public interface LoginServiceInterface { 
        public static final long versionID=1L;
	public String login(String username,String password);
}

服务端实现接口的类，代码如下:

package WL.LearnHadoop.rpc;

public class LoginServiceImpl implements LoginServiceInterface{
	@Override
	public String login(String username, String password) {
		System.out.println("recept info:[username]:"+username+"    [password]:"+password);		
		if(username.equals("test")&&password.equals("123"))	
		    return "login in:"+username;
		else 
		    return "login error:"+ username ;
	}
}

服务端发布服务供客户端调用，代码如下：

package WL.LearnHadoop.rpc;

import java.io.IOException;

import org.apache.hadoop.HadoopIllegalArgumentException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.ipc.RPC.Builder;
import org.apache.hadoop.ipc.RPC.Server;

public class ServerStart {
   public static void main(String[] args) throws HadoopIllegalArgumentException, IOException {
	   Configuration conf=new Configuration();
	   Builder builder= new RPC.Builder(conf);
	   builder.setInstance(new LoginServiceImpl()).setBindAddress("192.168.10.11").setPort(10000).setProtocol(LoginServiceInterface.class);
	   Server server=builder.build();
	   server.start();   
   }
}

客户端向服务端发送请求并获取响应，代码如下：

package WL.LearnHadoop.rpc;

import java.io.IOException;
import java.net.InetSocketAddress;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;

public class LoginController {
    
	public static void main(String[] args) throws IOException {
		
		Configuration conf=new Configuration();
		LoginServiceInterface proxy = RPC.getProxy(LoginServiceInterface.class,1L , new InetSocketAddress("hadoop1",10000), conf);
		String res=proxy.login("test", "123");
		System.out.println(res);
	}
}

代码中需引入hadoop的相关包，common包即可。将服务端代码打包RPCServer.jar，放到集群节点上，执行命令开启服务：