Hadoop federation配置

Hadoop federation配置

1、介绍

hadoop federation也称为联邦，主要是对namenode进行扩容。HA模式下只是实现了hadoop namenode的高可用，但是随着文件数据的不断增家，导致对namenode的压力越来越大，因此就需要对namenode的负载进行均衡处理。联邦的本质是配置多个namenode集群，将不同的路径映射到不同的集群上即可。但是需要注意所有namenode的集群有着一致的clusterid。结构图如下：

xpc_hadoop_001

2、集群规划

本例中引入四台namenode，分别是s101、s102、s103和s104。其中s101和s102组成集群ns1，s103和s104组成集群ns2。

3、集群准备

以上四台节点都需要配置ssh，能够登录到所有的集群节点。

4、停止原来的集群

$>stop-dfs.sh

5、配置文件

5.1hdfs-site.xml

  • s101和s102配置相同

    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>ns1,ns2</value>
  </property>
  <!-- **************ns1********************* -->
  <property>
    <name>dfs.ha.namenodes.ns1</name>
    <value>nn1,nn2</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    <value>s101:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    <value>s102:8020</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns1.nn1</name>
    <value>s101:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns1.nn2</name>
    <value>s102:50070</value>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.ns1</name>
    <value>org.apache.hadoop.hdfs.server.namenode
      .ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!-- **************ns2********************* -->
  <property>
    <name>dfs.ha.namenodes.ns2</name>
    <value>nn3,nn4</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns2.nn3</name>
    <value>s103:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns2.nn4</name>
    <value>s104:8020</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns2.nn3</name>
    <value>s103:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns2.nn4</name>
    <value>s104:50070</value>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.ns2</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!--***********************************************-->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://s102:8485;s103:8485;s104:8485/ns1</value>
  </property>

  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>
      sshfence
      shell(/bin/true)
    </value>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/centos/.ssh/id_rsa</value>
  </property>

  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
</configuration>

    ​

  • s103和s104配置相同

    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>ns1,ns2</value>
  </property>
  <!-- **************ns1********************* -->
  <property>
    <name>dfs.ha.namenodes.ns1</name>
    <value>nn1,nn2</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    <value>s101:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    <value>s102:8020</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns1.nn1</name>
    <value>s101:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns1.nn2</name>
    <value>s102:50070</value>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.ns1</name>
    <value>org.apache.hadoop.hdfs.server.namenode
      .ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!-- **************ns2********************* -->
  <property>
    <name>dfs.ha.namenodes.ns2</name>
    <value>nn3,nn4</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns2.nn3</name>
    <value>s103:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns2.nn4</name>
    <value>s104:8020</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns2.nn3</name>
    <value>s103:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns2.nn4</name>
    <value>s104:50070</value>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.ns2</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!--***********************************************-->

  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://s102:8485;s103:8485;s104:8485/ns2</value>
  </property>

  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>
      sshfence
      shell(/bin/true)
    </value>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/centos/.ssh/id_rsa</value>
  </property>

  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
</configuration>

5.2 core-site.xml

<?xml version="1.0"?>
<configuration xmlns:xi="http://www.w3.org/2001/XInclude">
  <xi:include href="mountTable.xml" />
  <property>
    <name>fs.defaultFS</name>
    <value>viewfs://ClusterX</value>
  </property>
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/home/centos/hadoop/federation/journalnode</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/centos/hadoop/federation</value>
  </property>
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>s102:2181,s103:2181,s104:2181</value>
  </property>
</configuration>

5.3 mountTable.xml

<configuration>
  <property>
    <name>fs.viewfs.mounttable.ClusterX.homedir</name>
    <value>/home</value>
  </property>
  <property>
    <name>fs.viewfs.mounttable.ClusterX.link./home</name>
    <value>hdfs://ns1/home</value>
  </property>
  <property>
    <name>fs.viewfs.mounttable.ClusterX.link./tmp</name>
    <value>hdfs://ns2/tmp</value>
  </property>
  <property>
    <name>fs.viewfs.mounttable.ClusterX.link./projects/foo</name>
    <value>hdfs://ns1/projects/foo</value>
  </property>
  <property>
    <name>fs.viewfs.mounttable.ClusterX.link./projects/bar</name>
    <value>hdfs://ns2/projects/bar</value>
  </property>
</configuration>

6、实操

6.1 删除日志和临时目录

$>xcall.sh rm -rf /soft/hadoop/logs/*
$>xcall.sh rm -rf /home/centos/hadoop/federation/*

6.2 修改软连接

$>xcall.sh ln -sfT /soft/hadoop/etc/federation /soft/hadoop/etc/hadoop

6.3 格式化ns1集群

  1. 启动journalnode节点

    登录s102、s103和s104，分别执行以下命令：

    $>hadoop-daemon.sh start journalnode

  2. 格式化nn1节点

    $>hdfs namenode -format

  3. 复制nn1元数据到nn2

    $>scp -r /home/centos/hadoop/federation centos@s102:/home/centos/hadoop

  4. nn2上执行引导

    # s101启动名称节点
$>hadoop-daemon.sh start namenode
# s102执行引导,不要重格(N)
$>hdfs namenode -bootstrapStandby

  5. nn2初始化编辑共享日志

    # 初始化共享编辑日志
$>hdfs namenode -initializeSharedEdits

  6. 格式化zk节点

    $>hdfs zkfc -formatZK

  7. 启动nn1和nn2的namenode以及容灾控制器

    # s101
$>hadoop-daemon.sh start zkfc

# s102
$>hadoop-daemon.sh start namenode
$>hadoop-daemon.sh start zkfc

  8. webui测试

    http://s101:50070

6.4 格式化ns2集群

格式化ns2集群时，务必需要使用ns1的集群id，以保证他们是一个完成的集群。

  1. 格式化nn3，使用nn1的集群id

    $>hdfs namenode -format -clusterId CID-e16c5e2f-c0a5-4e51-b789-008e36b7289a

  2. 复制s103的元数据到s104上

    $>scp -r /home/centos/hadoop/federation centos@s104:/home/centos/hadoop/

  3. 在s104引导

    # 在s103启动namenode
$>hadoop-daemon.sh start namenode
# 在s104执行引导
$>hdfs namenode -bootstrapStandby

  4. 在s104上初始化编辑日志

    $>hdfs namenode -initializeSharedEdits

  5. 在s104对zookeeper格式化zkfc(选择Y)

    $>hdfs zkfc -formatZK

  6. 启动s103和s104的namenode和zkfc进程

    # s103
$>hadoop-daemon.sh start zkfc
# s104
$>hadoop-daemon.sh start namenode
$>hadoop-daemon.sh start zkfc

6.5 重启集群

$>stop-dfs.sh
$>start-dfs.sh

6.6 创建目录

# 切记，使用-p参数创建上级目录
$>hdfs dfs -mkdir -p /home/data

6.7 上传文件

$>hdfs dfs -put 1.txt /home/data

6.8 webui考察

http://s101:50070/

7、小结

配置联邦模式时，第二个namenode的格式化需要指定clusterid，以保证和之前的集群id相同，同时引入挂载表指定不同目录映射到的namenode集群路径。最后，在指定编辑日志存放地址时，最好不同的namenode集群在各自不同的目录下。联邦模式的引进，有效缓解了namenode节点压力的问题，对namenode实现了扩容和负载平衡。

posted @ 2018-09-22 20:50  大道至简(老徐)  阅读(544)  评论(0)  编辑  收藏  举报