如何在集群里服役新节点、退役旧节点(DataNode)

准备好新的数据节点(DataNode)

①准备机器，配置好JDK、hadoop的环境变量，在hdfs-site.xml和yarn-site.xml文件中分别配置NameNode和ResourceManager所在主机名
②待服役成功后，启动datanode和nodemanager进程即可
③服役了新的DN节点后，可以执行再平衡的命令，这个命令可以将集群中块进行重新平衡分配，实现负载均衡：
./start-balancer.sh

方法一：白名单

• 白名单之外的机器，无法进入集群
• 编写一个文件，添加要服役的主机名
• 通过hdfs-site.xml中的dfs.hosts配置，value即白名单文件的路径位置
• 可以使用 hdfs dfsadmin -refreshNodes刷新配置，读取此配置信息！

方法二：黑名单

• 黑名单里的机器，无法进入集群
• 编写一个文件，添加要退役的主机名
• 通过hdfs-site.xml中的dfs.hosts.exclude配置，value即黑名单文件的路径位置
• 黑名单中的机器在最后一次启动时，会将当前机器的块移动到其他节点！
• 注意：如果当前集群中在线的DN节点不满足某些文件的副本数要求，当前退役节点是无法退役完成！