hadoop数据节点磁盘均衡(5.14.0及以上版本)
适应场景:解决数据节点上的磁盘失衡的痛点,如:扩容磁盘或磁盘更换等
均衡步骤:
1、修改文件 hdfs-site.xml中的参数dfs.disk.balancer.enabled 值设置为true
2、开始均衡磁盘(分三分进行分别为:plan, execute, query)
一步,HDFS客户端从NameNode上读取指定DataNode的的必要信息以生成执行计划:
hdfs diskbalancer -plan lei-dn-3.example.org
二、可以通过下面的命令在DataNode上执行这个生成的计划:
hdfs diskbalancer -execute /system/diskbalancer/2016-Aug-17-17-03-56/172.26.10.16.plan.json ###json目录会在plan结果中产生
三、我们可以使用 query 命令来查询DataNode上diskbalancer任务的状态:
hdfs diskbalancer -query lei-dn-3:20001
磁盘结果检查可用命令:df -h