天行健,君子以自强不息

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

1 新增Data节点

1.1 修改/etc/hosts,增加datanode的ip 

1.2 在新增加的节点启动服务

hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager

1.3 均衡block

start-balancer.sh

1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率 
2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长 

start-balancer.sh -threshold 5

 

2 删除节点

2.1 修改修改conf/hdfs-site.xml文件中的  “dfs.hosts.exclude“,确定要下架的机器,dfs.hosts.exclude定义的文件内容为,每个需要下线的机器,一行一个。这个将阻止他们去连接Namenode。如: 

slave-001  
slave-002

2.2 强制重新加载配置

hadoop dfsadmin  -refreshNodes

2.3 关闭节点

等待上面的操作结束后,需要下架的机器就能安全的关闭了

2.4 查看机群概况

hadoop dfsadmin -report

2.5 再次编辑conf/hdfs-site.xml文件,修改dfs.hosts.exclude,将下架的机器移除

 

posted on 2015-08-09 21:57  fgys  阅读(453)  评论(0编辑  收藏  举报