手动处理datanode磁盘间使用不均的问题

http://wiki.apache.org/hadoop/FAQ#On_an_individual_data_node.2C_how_do_you_balance_the_blocks_on_the_disk.3F

关于这个问题,Hadoop暂时未提供自动解决的方案,已经提上日程,jira上有记录。

hadoop wiki上提到了手动处理的解决方案。如上链接如示。

问题描述,一个datanode节点的datanode.dir会配置多个磁盘或目录,而如果因某些原因,如坏盘更换或磁盘选择策略的问题,

造成某一些磁盘目录使用很多,而某些或某个盘的使用率很低,这个时候可以手动进行处理。

1。先把这个datanode节点的datanode进程停掉,这样就不写入数据,才可以进行下一步操作。

2。例如从/data1/ 把block move到/data2/ 则尽可能保证目录结构一致,wiki中提到新版本中子目录不一致也不行。

mv的时候,要注意权限,不要使用root用户mv完之后,不改权限,这也会造成无法读取的问题。

我自己测试的环境cdh5.0.2 hadoop2.3

data.dir /hdp2/dfs/data ,新添加一个路径,/hdp2/dfs/data2

因为data2目录是空的,如果启动datanode 会对该目录进行初始化,如创建 version文件等。

我直接在data2中创建了数据池等目录到finalized ,然后把data下面第一层的block和meta挪了过来,没有把subdir目录挪过来。

我直接启动了datanode进程后,发现我挪过来的数据被删除了(为什么)

不过还好,副制因子是2,这些数据会同步过来。我停掉datanode进程,把subdir10(这里面有数据)直接mv到/data2相应的目录下,

再次启动datanode进程,webui上检查发现,block是被发现了。

为安全起见,在生产环境中操作,一定要对数据进行一下备份,或者是先上传一个大文件,然后针对这个文件的blocks进行测试后再大规模处理。

posted on 2016-03-13 08:56  tneduts  阅读(571)  评论(0编辑  收藏  举报

导航