加快 hdfs block 块复制的参数调整
共涉及三个参数:
dfs.namenode.replication.max-streams 30 => 70
dfs.namenode.replication.max-streams-hard-limit 40 => 90
dfs.namenode.replication.work.multiplier.per.iteration =>60
操作步骤:
1.控制台集群维度修改配置,然后下发
2.下发完毕,使用 reconfig 命令即时生效(两个 namenode 上都要 start):
hdfs dfsadmin -reconfig namenode 10.160.xxxx:4007 start
hdfs dfsadmin -reconfig namenode 10.160.xxxxx:4007 start
在 hdfs web ui conf https://hdfs08.xxxxxx.com/conf 界面查看是否生效
补充:
hdfs dfsadmin -reconfig namenode 10.160.xxxxx:4007 properties 命令可以列出哪些可以使用 reconfig 即时生效的配置