Hadoop源码学习笔记之NameNode启动场景流程四：rpc server初始化及启动
老规矩，还是分三步走，分别为源码调用分析、伪代码核心梳理、调用关系图解。
一、源码调用分析
根据上篇的梳理，直接从initialize()方法着手。源码如下，部分代码的功能以及说明，已经在注释阐述了。
protected void initialize(Configuration conf) throws IOException { // 可以通过找到下面变量名的映射，在hdfs-default.xml中找到对应的配置 if (conf.get(HADOOP_USER_GROUP_METRICS_PERCENTILES_INTERVALS) == null) { String intervals = conf.get(DFS_METRICS_PERCENTILES_INTERVALS_KEY); if (intervals != null) { conf.set(HADOOP_USER_GROUP_METRICS_PERCENTILES_INTERVALS, intervals); } } ...... // 核心代码：启动HttpServer if (NamenodeRole.NAMENODE == role) { startHttpServer(conf); } this.spanReceiverHost = SpanReceiverHost.getInstance(conf); // 核心代码：FSNamesystem初始化 loadNamesystem(conf); // 核心代码：创建一个rpc server实例 rpcServer = createRpcServer(conf); ...... // 核心代码：启动一些服务组件，包括rpc server等 startCommonServices(conf); }
这段代码涉及到rpc server初始化及启动的核心，有两处：
第一处是rpcServer = createRpcServer(conf); 这个createRpcServer()的功能就是创建了一个rpc server的实例。如下：
protected NameNodeRpcServer createRpcServer(Configuration conf) throws IOException { return new NameNodeRpcServer(conf, this); }
我们继续进去NameNodeRpcServer类的构造方法中看一看，到底里面做了哪些事情：
public NameNodeRpcServer(Configuration conf, NameNode nn) throws IOException { this.nn = nn; this.namesystem = nn.getNamesystem(); this.metrics = NameNode.getNameNodeMetrics(); int handlerCount = conf.getInt(DFS_NAMENODE_HANDLER_COUNT_KEY, DFS_NAMENODE_HANDLER_COUNT_DEFAULT); RPC.setProtocolEngine(conf, ClientNamenodeProtocolPB.class, ProtobufRpcEngine.class);
// ----------1------------
// ---- 下面一堆都是实例化各种协议和服务的对象，所有的服务都是BlockingService接口的实现 // client和namenode之间进行通信需要调用的接口，包括：创建目录、管理block、设置权限等一些操作 ClientNamenodeProtocolServerSideTranslatorPB clientProtocolServerTranslator = new ClientNamenodeProtocolServerSideTranslatorPB(this); BlockingService clientNNPbService = ClientNamenodeProtocol. newReflectiveBlockingService(clientProtocolServerTranslator); // datanode和namenode之间进行通信调用的接口，包括：datanode注册、heartbeatReport、blockReport等接口 DatanodeProtocolServerSideTranslatorPB dnProtoPbTranslator = new DatanodeProtocolServerSideTranslatorPB(this); BlockingService dnProtoPbService = DatanodeProtocolService .newReflectiveBlockingService(dnProtoPbTranslator); // 不同的namenode之间进行通信需要调用的接口 NamenodeProtocolServerSideTranslatorPB namenodeProtocolXlator = new NamenodeProtocolServerSideTranslatorPB(this); BlockingService NNPbService = NamenodeProtocolService .newReflectiveBlockingService(namenodeProtocolXlator); ......
// ---- 以上都是初始化rpc server关键的部分
// 确保供写数据的rpc服务引擎已经初始化，如果没有初始化，
// 则在此方法中调用registerProtocolEngine()从而将WritableRpcEngine引擎加入到内存中的引擎map WritableRpcEngine.ensureInitialized();
......
if (serviceRpcAddr != null) { ......
// -----------2----------
// 实例化一个监听datanode请求的rpc server this.serviceRpcServer = new RPC.Builder(conf) .setProtocol(org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolPB.class) .setInstance(clientNNPbService) .setBindAddress(bindHost) .setPort(serviceRpcAddr.getPort()).setNumHandlers(serviceHandlerCount) .setVerbose(false) .setSecretManager(namesystem.getDelegationTokenSecretManager()) .build(); // 将前面实例化的各种协议service添加到这个监听datanode请求的rpc server // Add all the RPC protocols that the namenode implements DFSUtil.addPBProtocol(conf, HAServiceProtocolPB.class, haPbService, serviceRpcServer); DFSUtil.addPBProtocol(conf, NamenodeProtocolPB.class, NNPbService, serviceRpcServer); ...... ......
} else { ...... } ...... // -----------3------------
// 实例化一个监听客户端请求的rpc server this.clientRpcServer = new RPC.Builder(conf) .setProtocol( org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolPB.class) .setInstance(clientNNPbService).setBindAddress(bindHost) .setPort(rpcAddr.getPort()).setNumHandlers(handlerCount) .setVerbose(false) .setSecretManager(namesystem.getDelegationTokenSecretManager()).build();
// 将前面实例化的各种协议service添加到这个监听客户端请求的RPC server // Add all the RPC protocols that the namenode implements DFSUtil.addPBProtocol(conf, HAServiceProtocolPB.class, haPbService, clientRpcServer); DFSUtil.addPBProtocol(conf, NamenodeProtocolPB.class, NNPbService, clientRpcServer); ......
...... }
进入到NameNodeRpcServer类的构造方法中，可以看到除了上面几行的一些初始化赋值之外，下面的代码好长啊。其实并不复杂，
根据代码的逻辑划分，主要有三部分：
第一部分，实例化各种通信协议和服务对象，比如：负责创建目录、管理block、设置权限等操作的客户端同NameNode通信的
协议服务——ClientNameNodeProtocolServerSideTranslatorPB、负责datanode的启动时向NameNode注册、发送心跳报告、
block信息报告等操作的datanode同NameNode通信的协议服务——DatanodeProtocolServerSideTranslatorPB。篇幅有限，
后面还有不同NameNode之间通信协议服务、HA高可靠、用户权限管理等不在一一详细说明。
第二部分，实例化了一个监听datanode请求的rpc server，并且将第一部分实例化的各种ProtocolService同此rpc server进行绑定，
用于处理rpc server监听到的来自datanode的各种rpc请求。
第三部分，实例化了一个监听客户端请求的rpc server，并将第一部分实例化的各种ProtocolService同此rpc server进行绑定，用于
处理监听到的来自客户端的rpc请求。
至此，rpc server启动之前相关的准备工作已经完毕，接下来就要开始启动rpc server了。继续回到本篇刚开始的initialize()方法中的最后一处核心，
startCommonServices(); 内容如下：
private void startCommonServices(Configuration conf) throws IOException {
// 核心代码： namesystem.startCommonServices(conf, haContext); registerNNSMXBean(); if (NamenodeRole.NAMENODE != role) { startHttpServer(conf); httpServer.setNameNodeAddress(getNameNodeAddress()); httpServer.setFSImage(getFSImage()); } // 启动rpcServer rpcServer.start(); ...... }
在此方法中，直接就启动了rpcServer。
但是在第一行的startCommonServices()方法也是核心之一，里面有很重要的一些服务，比如磁盘检查、安全模式判断等，后续篇幅会跟进。
二、伪代码调用流程梳理
NameNode.main() // 入口函数
|——createNameNode(); // 通过new NameNode()进行实例化
|——initialize(); // 方法进行初始化操作
|——startHttpServer(); // 启动HttpServer
|——loadNamesystem(); // 加载元数据
|——createRpcServer(); // 创建rpc server实例
|——new NameNodeRpcServer();
|——service1 // 各种通信协议service
|——service2 // 各种通信协议service
|——service.... // 各种通信协议service
|——serviceRpcServer = new RPC.builder(); // 实例化一个监听datanode请求的rpc server
|——serviceRpcServer.add(service1...); // 将各种service添加到serviceRpcServer
|——clientRpcServer = new RPC.builder(); // 实例化一个监听客户端请求的rpc server
|——clientRpcServer.add(service2...); // 将各种service添加到clientRpcServer
|——startCommonServices();
|——namesystem.startCommonServices(); // 启动一些磁盘检查、安全模式等一些后台服务及线程
|——rpcServer.start(); // 启动rpcServer
|——join()
三、rpc server初始化及启动流程图解
