加快 hdfs block 块复制的参数调整

共涉及三个参数:

dfs.namenode.replication.max-streams 30 => 70
dfs.namenode.replication.max-streams-hard-limit 40 => 90
dfs.namenode.replication.work.multiplier.per.iteration =>60

操作步骤:
1.控制台集群维度修改配置,然后下发
2.下发完毕,使用 reconfig 命令即时生效(两个 namenode 上都要 start):
hdfs dfsadmin -reconfig namenode 10.160.xxxx:4007 start
hdfs dfsadmin -reconfig namenode 10.160.xxxxx:4007 start

在 hdfs web ui conf https://hdfs08.xxxxxx.com/conf 界面查看是否生效

补充:
hdfs dfsadmin -reconfig namenode 10.160.xxxxx:4007 properties 命令可以列出哪些可以使用 reconfig 即时生效的配置

posted @ 2022-04-11 13:01  hdpdriver  阅读(445)  评论(0编辑  收藏  举报