Hadoop记录-HDFS balancer配置
HDFS balancer配置(可通过CM配置)
dfs.datanode.balance.max.concurrent.moves
并行移动的block数量,默认5
dfs.datanode.balance.bandwidthPerSec
Balance工具所占用的带宽,默认1048576(1MB)
dfs.balancer.moverThreads
用于执行block移动的线程池大小,默认1000
dfs.balancer.max-size-to-move
每次balance进行迭代的过程最大移动数据量,默认10737418240(10GB)
dfs.balancer.getBlocks.size
获取block的数量,默认2147483648(2GB)
dfs.balancer.getBlocks.minblock-size
用来平衡的最小block大小,默认10485760(10MB)
dfs.datanode.blockpinning.enabled
hdfs balancer
[-threshold <threshold>]
[-policy <policy>]
[-exclude [-f <hosts-file> | <comma-separated list of hosts>]]
[-include [-f <hosts-file> | <comma-separated list of hosts>]]
[-idleiterations <idleiterations>]
参数说明:
-threshold
某datanode的使用率和整个集群使用率的百分比差值阈值,达到这个阈值就启动hdfs balancer,取值从1到100,不宜太小,因为在平衡过程中也有数据写入,太小无法达到平衡
-policy
分为blockpool和datanode,前者是block pool级别的平衡后者是datanode级别的平衡
-exclude
不为空,则不在这些机器上进行平衡
-include
不为空,则仅在这些机器上进行平衡
-idleiterations 最大迭代次数
1.修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384),指定用于在DataNode间传输block数据的最大线程数,老版本的对应参数为dfs.datanode.max.xcievers
2.修改dfs.datanode.balance.bandwidthPerSec = 31457280 ,指定DataNode用于balancer的带宽为30MB,这个示情况而定,如果交换机性能好点的,完全可以设定为50MB,单位是Byte,如果机器的网卡和交换机的带宽有限,可以适当降低该速度,默认是1048576(1MB)
3.修改dfs.datanode.balance.max.concurrent.moves = 50,指定DataNode上同时用于balance待移动block的最大线程个数,这个值默认是5