关于hadoop中datanode节点不同的dfs.data.dir之间数据均衡问题

问题：集群中的存储数据增大，导致datanode的空间都快占满了（以前的dfs.data.dir=/data/hdfs/dfs/data），机器的硬盘监控程序不停的报警 。

         给每台机器加了一倍的存储硬盘(新的dfs.data.dir=/data/hdfs/dfs/data，/data/hdfs/dfs/data2    新的硬盘挂载在/data/hdfs/dfs/data2)，但是现在的问题来了，以前装数据的那块盘还是满的，仍然在报警，怎么把数据均衡到这两块盘上面 ？？

 

解决：移动其中一个文件夹的数据（其实也就是block）到另外一个文件加 。

原理：hdfs中文件的inode文件树信息以及每个文件对应的block信息存储在NN中的，每个block存储在那几台DN机器上是在集群启动时候，由每台datanode根据自身所拥有的block上报上去的。 datanode在启动时候，也是扫描自身dfs.data.dir的各个文件夹下的current（前提是这个目录的VERSION等必要信息文件时存在的，这个目录是合法的）目录，然后将下面存在block信息（有哪些block，存在那个文件夹下）上报到NN （详细参见DataNode的FSDataset代码）。

操作：

1、停止集群 。

2、修改dfs.data.dir的配置 。

3、启动集群（先只启动hdfs），该步的目的是：让DataNode去格式化/data/hdfs/dfs/data2，填充其中的一些系统信息文件（例如：current  ，current/VERSION,detach ,storage等）。

5、使用http://namenodeAddress:50070/fsck来检查文件系统，并记录下结果，以便与修改后进行fsck比较，看文件系统是否健全 。

4、停止集群 。

5、进入/data/hdfs/dfs/data/current 目录，将其中一些较大的子文件夹（如果是系统生成的名字一般是subdir**）mv到/data/hdfs/dfs/data2/current 下 。

6、启动集群 （先是hdfs，好做检查） 。

7、再次执行http://namenodeAddress:50070/fsck命令，将结果与前一次比较，没出问题的话，应该是一样的 。

 

PS：在dev机器上做了相应的实验，做之前将dev的数据文件备份，现在启动dev的集群，已经跑了一段时间，并没有出现问题 。

源代码部分：

   在DataNode中，每个dfs.data.dir的文件夹对应的是一个FSDir类，而其文件下的每一个子文件夹对应一个FSDir ，每次DataNode启动时，会对每一个dfs.data.dir的文件启动一个FSDir对象，让后其在构造函数中会统计该FSDir下存储哪些block ，也既是每个block存在那个文件夹只有在DataNode启动时扫描自己的dfs.data.dir是才知道，这也是本次修改的原理 。

    public FSDir(File dir) 
      throws IOException {
      this.dir = dir;
      this.children = null;
      //文件夹不存在则创建文件夹
      //不会覆盖或删除已经存在的文件夹，为手工移动block提供了便利性
      if (!dir.exists()) {                                                                                                                                                                                                
        if (!dir.mkdirs()) {
          throw new IOException("Mkdirs failed to create " + 
                                dir.toString());
        }
      } else {
        File[] files = dir.listFiles();
        int numChildren = 0;
        //自检查文件夹个数（子FSDir的个数）和文件（block个数）
        for (int idx = 0; idx < files.length; idx++) {
          if (files[idx].isDirectory()) {
            numChildren++;
          } else if (Block.isBlockFilename(files[idx])) {
            numBlocks++;
          }
        }
        //为其每个子文件夹创建一个FSDir对象 。
        if (numChildren > 0) {
          children = new FSDir[numChildren];
          int curdir = 0;
          for (int idx = 0; idx < files.length; idx++) {
            if (files[idx].isDirectory()) {
              children[curdir] = new FSDir(files[idx]);
              curdir++;
            }
          }
        }
      }
    }

 

其往FSDir中添加block的代码：

/**
     * //所作的事情:将在tmp中的block文件以及其meta文件mv(重命名)到current中
     * 第一次调用的形式是：先调用 File file = addBlock(b, src, false, false) ，再调用addBlock(b, src, true, true)      
     * boolean createOk :  是否需要在子FSDir中创建子子FSDir，先不创建的添加，若是不行（子目录存放的block也满了），再允许子目录创建子子目录 。
     * boolean resetIdx : 当存储需要在子目录中时候，每次存储完都有一个lastChildIdx表明上次存在哪个文件夹下：设置为true表示下次会在随机选一个，false表示下次还接着上次的来存
     */
    private File addBlock(Block b, File src, boolean createOk, 
                          boolean resetIdx) throws IOException {
      //本层目录未满，这直接将block添加在本目录
      if (numBlocks < maxBlocksPerDir) {
        File dest = new File(dir, b.getBlockName());
        File metaData = getMetaFile( src, b );
        File newmeta = getMetaFile(dest, b);
        if ( ! metaData.renameTo( newmeta ) ||
            ! src.renameTo( dest ) ) {
          throw new IOException( "could not move files for " + b +
                                 " from tmp to " + 
                                 dest.getAbsolutePath() );
        }
        if (DataNode.LOG.isDebugEnabled()) {
          DataNode.LOG.debug("addBlock: Moved " + metaData + " to " + newmeta);
          DataNode.LOG.debug("addBlock: Moved " + src + " to " + dest);
        }

        numBlocks += 1;
        return dest;
      }
      //需要存到子目录下 ，随即从新选择一个开始子目录
      //通过这个resetIdx来平均各个子FSDir的存储不均衡 。
      if (lastChildIdx < 0 && resetIdx) {
        //reset so that all children will be checked
        lastChildIdx = random.nextInt(children.length);              
      }
      //从上面随即的lastChildIdx开始找一个能添加
      if (lastChildIdx >= 0 && children != null) {
        //Check if any child-tree has room for a block.
        for (int i=0; i < children.length; i++) {
          int idx = (lastChildIdx + i)%children.length;
          //这一块的添加既是先试着用  子目录中不创建子子目录的方式 添加 。
          File file = children[idx].addBlock(b, src, false, resetIdx);
          if (file != null) {
            lastChildIdx = idx;
            return file; 
          }
        } 
        lastChildIdx = -1;
      }
            
      if (!createOk) {
        return null;
      }
      //如果没有子文件夹才这么做，当有手工移动来的子文件时候造成的结果是这一层目录只有手工移动过来的那几个文件夹 ~~
      //若是没有手工成分，DataNode会一次性建立maxBlocksPerDir个子文件夹 。
      //maxBlocksPerDir由dfs.datanode.numblocks确定，默认是64 ，含义是每个FSDir中最多存储多少个block ，最多存储多少个子FSDir

if (children == null || children.length == 0) { children = new FSDir[maxBlocksPerDir]; for (int idx = 0; idx < maxBlocksPerDir; idx++) { children[idx] = new FSDir(new File(dir, DataStorage.BLOCK_SUBDIR_PREFIX+idx)); } } //now pick a child randomly for creating a new set of subdirs. lastChildIdx = random.nextInt(children.length); return children[ lastChildIdx ].addBlock(b, src, true, false); }

maxBlocksPerDir由dfs.datanode.numblocks确定，默认是64 ，含义是每个FSDir中最多存储多少个block ，最多存储多少个子FSDir

贴出以上代码主要是刚开始怕DataNode有一套自己的机制，会把你添加进去的文件(夹)清除掉，或者是把不符合规则的子文件夹（一般的是当建立子文件夹是会一次性建立subdir0--subdir63 这64个文件夹，代码见第二部分代码）清除掉 ，但是后来看过代码后发现也没这些逻辑 。