Hadoop基础之新节点的服役与旧节点的退役
Hadoop基础之新节点的服役与旧节点的退役
修改节点之停止服务修改
- 停止服务
- 配制ssh免密登录
- 修改同步脚本
- 修改hosts文件
- 修改slaves文件
- 格式化
- 重新启动服务
修改节点之热部署修改
- 服役新节点
- 创建一个新节点、修改IP、主机名
- 配制ssh免密登录
- 修改hosts文件,同步到所有节点
- 创建一个文件,文件名自拟,放置在想放的路径下
- 编辑文件,文件内容为已经上线的DataNode节点名,以及要添加的全部节点
- 修改hdfs-size.xml文件
- dfs.hosts
<property> <name>dfs.hosts</name> <value>a文件的路径</value> </property>
- 修改slaves文件,将新节点名写入
- 同步修改过的文件
- 刷新节点
- hdfs dfsadmin -refreshNodes
- yarn rmadmin -refreshNodes
- 在新节点启动服务
- hadoop-daemon.sh start datanode
- 验证
- 在WebUI界面查看新节点是否处于In Service 状态
- 如果数据不均衡
- start-balancer.sh
- 退役旧节点
- 创建一个文件,文件名自拟,放置在想放的路径下
- 编辑文件,文件内容为要退役节点的节点名
- 修改hdfs-size.xml文件
- dfs.hosts.exclude
<property> <name>dfs.hosts.exclude</name> <value>文件的路径</value> </property>
- 修改slaves文件,删除要退役的节点
- 同步修改过的文件
- 刷新节点
- hdfs dfsadmin -refreshNodes
- yarn rmadmin -refreshNodes
- 验证
- 退役的节点进入正在退役状态
- 正在退役的节点将已有数据分配给其他节点
- 当退役节点从正在退役状态转变成已退役状态,数据迁移已经完成,节点变成不可用状态
- 此时,退役节点对其他节点具有可见性,但退役节点不再可用,有数据上传也不会向退役节点进行存储
- 如果集群重启服务,退役节点将不具有可见性,彻底脱离集群
- 关闭退役节点的服务
- hadoop-daemon.sh stop datanode
如有问题,请发送邮件至buxiaqingcheng@163.com或者buxiaqingcheng@dingtalk.com