Hadoop源码学习笔记之NameNode启动场景流程二：http server启动源码剖析
NameNodeHttpServer启动源码剖析，这一部分主要按以下步骤进行：
一、源码调用分析
二、伪代码调用流程梳理
三、http server服务流程图解
第一步，源码调用分析
前一篇文章已经锁定到了NameNode.java类文件，搜索找到main()，可以看到代码只有寥寥几行，再筛除掉一些参数校验以及try-catch逻辑代码，
剩下的核心的代码甚至只有两行，如下：
1 public static void main(String argv[]) throws Exception { 2 if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) { 3 System.exit(0); 4 } 5 6 try { 7 StringUtils.startupShutdownMessage(NameNode.class, argv, LOG); 8 NameNode namenode = createNameNode(argv, null); 9 if (namenode != null) { 10 namenode.join(); 11 } 12 } catch (Throwable e) { 13 LOG.fatal("Failed to start namenode.", e); 14 terminate(1, e); 15 } 16 }
根据main()里面的代码，可以得知主流程是：1.创建NameNode对象，2.调用join()方法。然后深入到createNameNode()方法中，如下：
public static NameNode createNameNode(String argv[], Configuration conf) throws IOException { LOG.info("createNameNode " + Arrays.asList(argv)); if (conf == null) conf = new HdfsConfiguration(); ......// Parse the rest, NN specific args. StartupOption startOpt = parseArguments(argv); if (startOpt == null) { printUsage(System.err); return null; } // 重要代码：设置解析出来的参数。 setStartupOption(conf, startOpt); switch (startOpt) { // 如果传递的是-format，就是告诉namenode要做目录结构的格式化，其他的也同理。 case FORMAT: { boolean aborted = format(conf, startOpt.getForceFormat(), startOpt.getInteractiveFormat()); terminate(aborted ? 1 : 0); return null; // avoid javac warning } ...... case ROLLBACK: { boolean aborted = doRollback(conf, true); terminate(aborted ? 1 : 0); return null; // avoid warning } ...... default: { // 核心代码：如果正常情况下启动一个NameNode进程，代码会执行到此处，实例化一个NameNode对象。 DefaultMetricsSystem.initialize("NameNode"); return new NameNode(conf); } } }
这段代码看着很长，其实最重要的也就标粗的两行：
-
- setStartupOption(conf, startOpt);
这行代码是用来设置解析出来的参数。比如执行一条shell命令：hdfs namenode -format，其中的-format就是作为参数传递进来
进行解析，然后经过下面的switch()进行判断，进入到格式化的代码部分。其他的Hadoop命令参数比如-rollback也同理，都会进入
到这个switch()，根据传入的参数去执行相应的功能代码。
-
- new NameNode(conf);
switch()里前面的选择都是一些NameNode的功能模块，比如初始化、回滚、产生集群id等，而正常情况下启动NameNode进程会进入
到default模块，在这里会实例化一个NameNode对象。
接下来，就继续dive into到NameNode的构造方法中：
protected NameNode(Configuration conf, NamenodeRole role) throws IOException { // 初始化一些参数及配置 this.conf = conf; this.role = role; setClientNamenodeAddress(conf); ...... try { initializeGenericKeys(conf, nsId, namenodeId); // 核心代码：初始化NameNode实例对象。 initialize(conf); try { ...... } catch (HadoopIllegalArgumentException e) { this.stop(); throw e; } this.started.set(true); }
可以看到除了上面的一些参数配置之外，最重要的一行代码就是initialize()方法了。也可以根据NameNode的注释说明结合集群启动命令等
推测到，NameNodeServer的代码肯定是在这个初始化方法里面。继续往下深入，
protected void initialize(Configuration conf) throws IOException { // 可以通过找到下面变量名的映射，在hdfs-default.xml中找到对应的配置 if (conf.get(HADOOP_USER_GROUP_METRICS_PERCENTILES_INTERVALS) == null) { String intervals = conf.get(DFS_METRICS_PERCENTILES_INTERVALS_KEY); if (intervals != null) { conf.set(HADOOP_USER_GROUP_METRICS_PERCENTILES_INTERVALS, intervals); } } ...... // 核心代码：启动HttpServer if (NamenodeRole.NAMENODE == role) { startHttpServer(conf); } this.spanReceiverHost = SpanReceiverHost.getInstance(conf); // 核心代码：后面FSNamesystem初始化篇研究 loadNamesystem(conf); // 核心代码：后面rpc server启动流程篇研究 rpcServer = createRpcServer(conf); ...... startCommonServices(conf); }
这一段代码里面，核心代码有三行，但是目前只针对http server启动流程进行挖掘，下面两行核心代码会有专门的篇章去针对性的研究。
继续深入startHttpServer()方法，
private void startHttpServer(final Configuration conf) throws IOException { httpServer = new NameNodeHttpServer(conf, this, getHttpServerBindAddress(conf)); // 核心代码 httpServer.start(); httpServer.setStartupProgress(startupProgress); }
继续深入httpServer.start()方法，看看里面都做了哪些事情，
void start() throws IOException { HttpConfig.Policy policy = DFSUtil.getHttpPolicy(conf); final String infoHost = bindAddress.getHostName(); // 重要代码 final InetSocketAddress httpAddr = bindAddress; final String httpsAddrString = conf.get( DFSConfigKeys.DFS_NAMENODE_HTTPS_ADDRESS_KEY, DFSConfigKeys.DFS_NAMENODE_HTTPS_ADDRESS_DEFAULT); InetSocketAddress httpsAddr = NetUtils.createSocketAddr(httpsAddrString); ...... // 重要代码 HttpServer2.Builder builder = DFSUtil.httpServerTemplateForNNAndJN(conf, httpAddr, httpsAddr, "hdfs", DFSConfigKeys.DFS_NAMENODE_KERBEROS_INTERNAL_SPNEGO_PRINCIPAL_KEY, DFSConfigKeys.DFS_NAMENODE_KEYTAB_FILE_KEY); httpServer = builder.build(); ...... initWebHdfs(conf); httpServer.setAttribute(NAMENODE_ATTRIBUTE_KEY, nn); httpServer.setAttribute(JspHelper.CURRENT_CONF, conf); // 核心代码：HttpServer2绑定了一堆servlet，定义好了接收哪些http请求，接收到了请求由谁来处理。 setupServlets(httpServer, conf); // 核心代码：启动httpServer httpServer.start(); ...... }
这段代码中的bindAddress，经过一步一步的溯源，可以对应到hdfs-default.xml中的这段属性：
<property> <name>dfs.namenode.http-address</name> <value>0.0.0.0:50070</value> <description> The address and the base port where the dfs namenode web ui will listen on. </description> </property>
可以得知bindAddress就是http server绑定在哪个端口上，默认是0.0.0.0:50070，当然也可以自己配置。结合以往的集群启动经验，启动成功后
我们一般会在浏览器访问http://xx.xx.xx.xx:50070这个hdfs管理工作台，可以查看集群的状态、元数据、目录结构、block信息等。这其实就是
NameNode的http server提供的服务。
具体http server是什么？往下看会有这么一行代码：
HttpServer2.Builder builder = ....;
httpServer = builder.build();
这段代码指示了http server是具体的哪个类——HttpServer2.java。这个类是Hadoop实现的一套http服务，用于接收http请求。并且这一块是
Hadoop抽离出来独立的一个模块，在hadoop-common包中，是整个Hadoop框架通用的一套http server服务。具体怎么实现的不在本篇研究
范围，就不做深究了。
继续往下看，setupServlets(); 这一行是核心代码，点进去发现是绑定了各种参数的servlet。这些servlet定义了接收哪些http请求，并且接收到
请求之后由哪个servlet进行处理。举个栗子，我们在浏览器请求了http://xx.xx.xx.xx:50070/listPath?path=/user/warehouse，此时HttpServer2
接收到请求，然后转发给对应的处理listPath功能的servlet，servlet处理完之后再将结果返回。
最后，就是httpServer.start()了，代码执行到此处会启动httpServer，然后客户端都可以通过http请求进行访问了。
第二步，伪代码调用流程梳理。
NameNode.main() // 入口函数 |——createNameNode(); // 通过new NameNode()进行实例化 |——initialize(); // 方法进行初始化操作 |——startHttpServer(); // 启动HttpServer |——httpServer = new NameNodeHttpServer(); // 通过实例化HttpServer进行启动 |——httpServer.start(); // 具体的一些启动细节：servlet等配置 |——setupServlets(); |——httpServer.start(); |——join()
现在，对上述的整个流程进行一个梳理，
- NameNode.main() 入口函数
- createNameNode() 方法通过new NameNode()进行实例化
- 实例化的时候，会通过initialize()方法进行初始化操作
- 初始化操作主要包含了启动HttpServer、加载元数据信息、启动RpcServer这三部分。后面两部分待后续篇幅进行研究。
第三步，http server服务流程图解。
