【公司要求】- RPC学习（一）

HADOOP-IPC(这里说的是1.0.4版本) 是轻量级RPC，在hadoop中主要用于2方面

　　1、TaskTracker和JobTracker 通讯。

　　2、NameNode和DataNode通讯。

　　3、DataNode和DataNode通讯。

作者的意图是尽量暴露细节参数给用户从而达到增加灵活性（比如连接超时设置、并发业务处理器数量、队列长度设置等）。核心代码3000行左右。采用基于java-NIO非阻塞方式，设计中间有一些细节是很值得学习的。下图展示了IPC总体设计方式（其实是网路服务器架构方式，缺少业务处理模handler）

一些细节：

　　　　　　1、hadoop更新版本迅速，所以IPC在内部通讯的时候都实现了VersionProtocal接口，不同的版本的Server和Client是不能通讯的。

　　　　　　2、新的版本（2.0.0）中加入了PRCEngine用于扩展第三方RPC框架的接入，增大灵活性。

　　　　　　3、Client由于是异步调用所以无法保证消息顺序，因此Client把ConnectionId类作为Key放到了本地缓存中。返回一个remove一个。

　　　　　　4、Client做了链接复用。而且用户可以回收连接时间间隔（当连接空闲的时候）。

　　　　　　5、Server端Responder是一个独立的线程服务，作用是防止RPC调用时间过长而阻塞服务处理器（Handler是共享资源，要提高并发就要尽量减少公共资源的使用时间）。因此如果Server中只有一个请求业务时（表明服务端压力不大），Handler直接打包返回。如果大于1，则Handler的持有线程（业务线程）。把请求转交给Responder线程处理，同事Register通道的OP_WRITE写事件。后续和Client交互又Responder处理。

　　　　　　6、Listener和Reader分离，每部分都利用了NIO的Reactor模式。Listener处理网络监听连接事件，Reader由Listener启动负责打包成Server可以接受的对象放到业务处理器要处理的队列中。

 

使用DEMO：

　　我们在使用Hadoop——IPC做我们自己的分布式系统的基础框架也是比较方便的，需要引用Hadoop-core-x.x.x.jar,其实还是建议抽取出来加以改进更好的支持业务。最后下面引用某教材。

0、边界业务接口和实现

public interface IPCQueryStatus extends VersionedProtocol {
    IPCFileStatus getFileStatus(String filename);
}

public class IPCQueryStatusImpl implements IPCQueryStatus {    
    protected IPCQueryStatusImpl() {
    }

    @Override
    public IPCFileStatus getFileStatus(String filename) {
        IPCFileStatus status=new IPCFileStatus(filename);
        System.out.println("Method getFileStatus Called, return: "+status);
        return status;
    }

    @Override
    public long getProtocolVersion(String protocol, long clientVersion) throws IOException {
        System.out.println("protocol: "+protocol);
        System.out.println("clientVersion: "+clientVersion);
        return IPCQueryServer.IPC_VER;
    }
}

public class IPCFileStatus implements Writable {    
    private String filename;
    private long time;
    
    static {   // register IPCFileStatus
        WritableFactories.setFactory
            ( IPCFileStatus.class,
              new WritableFactory() {
                  public Writable newInstance() { return new IPCFileStatus(); } } );
    }
    public IPCFileStatus() {        
    }
    
    public IPCFileStatus(String filename) {
        this.filename=filename;
        this.time=(new Date()).getTime();
    }

    public String getFilename() {
        return filename;
    }
}

1、开启server

IPCQueryStatusImpl queryService=new IPCQueryStatusImpl();
Server server = RPC.getServer(queryService, "0.0.0.0", IPC_PORT, 1, true,new Configuration());
server.start();

2、开启client

InetSocketAddress addr=new InetSocketAddress("localhost", IPCQueryServer.IPC_PORT);
IPCQueryStatus query=(IPCQueryStatus) RPC.getProxy(IPCQueryStatus.class, IPCQueryServer.IPC_VER, addr,  new Configuration());
IPCFileStatus status=query.getFileStatus("/tmp/testIPC");

 

下期写Hadoop的具体实现细节和基础知识回顾。