HDFS组件性能调优：数据平衡

生产系统中什么情况下会添加一个节点呢？ 1 增加存储能力 disk 2 增加计算能力 cpu mem 如果增加是的是存储能力，说明存储已接近饱和或者说过段时间就会没有剩余的空间给作业来用。新加的节点存储水平跟之前的节点是不匹配的，只有很少量的数据。这种情况就要对HDFS的数据做一次平衡，使他们达到一个水平。这样做的好处是不浪费新加入节点的计算资源，二新加入的数据都加入到新节点造成一个数据集中的问题如果针对新加入数据做一些计算的话，也会浪费老节点资源。所以说，数据平衡要定期做，当新加入节点更要做一次数据平衡。 hdfs balancer 直接执行 没权限就用sudo -u hdfs hdfs balancer 通过扫描datanode做数据平衡 也可以在cloudera manager 里的instance 里 Balancer启动 在hdfs dfsadmin里面同样有一个setBalancerBandwidth 设置平衡的带宽 在业务不繁忙的时候做 因为很耗带宽 磁盘IO 定期做的话 可以写在linux的cronjob里面 vi /etc/crontab 某一台hdfs主机里就可以了