hadoop balance均衡datanode存储不起作用问题分析

　　前段时间因为hadoop集群各datanode空间使用率很不均衡，需要重新balance（主要是有后加入集群的2台机器磁盘空间比较大引起的），在执行如下语句：

bin/start-balancer.sh -threshold 10

　　后，日志输出如下：

Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved
Mar 10, 2014 11:03:40 AM          0                 0 KB            614.5 GB              20 GB
Mar 10, 2014 11:03:41 AM          1                 0 KB            614.5 GB              20 GB
Mar 10, 2014 11:03:42 AM          2               443 KB            614.5 GB              20 GB
Mar 10, 2014 11:03:43 AM          3               443 KB            614.5 GB              20 GB
Mar 10, 2014 11:03:44 AM          4            891.85 KB            614.5 GB              20 GB
Mar 10, 2014 11:03:45 AM          5            891.85 KB            614.5 GB              20 GB
Mar 10, 2014 11:03:46 AM          6            891.85 KB            614.5 GB              20 GB
Mar 10, 2014 11:03:47 AM          7            891.85 KB           614.49 GB              20 GB
Mar 10, 2014 11:03:48 AM          8            891.85 KB           614.49 GB              20 GB
No block has been moved for 5 iterations. Exiting...
Balancing took 10.023 seconds

很明显，balancer已经计算出要移动的数据量，但是就是没有移动，这是为什么呢？

查看hadoop-mysql-balancer-master.log并没有发现Error或者Warning，那只能去看源码了。

原来hadoop balancer在进行转移block的时候是会判断的，具体要求见下面的代码：

 /* Decide if it is OK to move the given block from source to target
   * A block is a good candidate if
   * 1. the block is not in the process of being moved/has not been moved;
   * 2. the block does not have a replica on the target;
   * 3. doing the move does not reduce the number of racks that the block has
   */

private boolean isGoodBlockCandidate(Source source, 
      BalancerDatanode target, BalancerBlock block) {
    // check if the block is moved or not
    if (movedBlocks.contains(block)) {
        return false;
    }
    if (block.isLocatedOnDatanode(target)) {
      return false;
    }

    boolean goodBlock = false;
    if (cluster.isOnSameRack(source.getDatanode(), target.getDatanode())) {
      // good if source and target are on the same rack
      goodBlock = true;
    } else {
      boolean notOnSameRack = true;
      synchronized (block) {
        for (BalancerDatanode loc : block.locations) {
          if (cluster.isOnSameRack(loc.datanode, target.datanode)) {
            notOnSameRack = false;
            break;
          }
        }
      }
      if (notOnSameRack) {
        // good if target is target is not on the same rack as any replica
        goodBlock = true;
      } else {
        // good if source is on the same rack as on of the replicas
        for (BalancerDatanode loc : block.locations) {
          if (loc != source && 
              cluster.isOnSameRack(loc.datanode, source.datanode)) {
            goodBlock = true;
            break;
          }
        }
      }
    }
    return goodBlock;
  }
  

对照上面的3个要求，逐一排查未移动block的原因：

（1）需要移动的block在本次balance的过程中没有被移动过------这条满足；

（2）需要移动的block在目标机器上不存在------这条待验证；

（3）需要移动的block，在移动后不改变每个机架上block的数量（注意，这是的数量不是总数量，是去重以后的block数量，例如，block的备份数是2，其实是算一个唯一的block）------由于集群在配置的时候没有添加机架感知脚本，所以默认情况下，都在1个机架上，这条满足。

那现在就去集群上验证第二条，果不其然，发现很多block在后面加入的2台机器上都已经存在，这还移动个屁啊，那边都已经存在了，所以balancer移动进程就退出了。

 

解决方法：

1.使用如下命令

bin/hadoop fs -setRep -R / 2

将集群中的block备份数同一设置成你在hdfs-site.xml中

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

配置的备份数，然后重启hadoop集群，等hadoop完成校验blcok以后再balance即可解决问题。