Hadoop集群如何动态增加节点

最近在做一个itemCF的推荐引擎实验，矩阵的MR实现使我很无语。。。时间慢，空间很快就满了，2KB的实验数据和2GB的真实数据真正让我体验到了CS游戏和真实战争的差距，所以我决定扩展集群，以此来试验是否会提高效率。好了，进入正题：

Hadoop集群如何动态增加节点？

1.实验环境：Hadoop2.6.0，虚拟机VMWare10,centos7

2.步骤：

A.在新的节点上安装Hadoop程序，建议拷贝现有虚拟机，直接复制即可，免去了安装程序，配置环境等一列问题。

B1.配置桥接网络，略。

B2.配置hosts文件，略。

C.配置新节点的ssh，略。

在此说明：ssh 只需要datanode和namenode之间通信，datanode之间并没有交互，所以ssh公钥只需要datanode和namenode之间交换。NameNode、DataNode和Client三者之间通信方式请查看我的另一篇博客***。

D.在nameNode节点的配置文件中修改masters和slaves文件，增加节点。

E.设置新的备份系数dfs.replication，建议N个datanode就设置指为N

hdfs-site.xml:

<name>dfs.replication</name>
<value>N</value>

F:重启datanode和tasktracker守护进程，启动命令如下：

hadoop -daemon.sh start datanode\tasktracker

G.jps检查新节点上有没有守护进程启动。

H.机器不用时可以操作节点间的负载均衡，命令：start-balancer.sh，比较费时。

完成！

 

感谢您阅读我的博客，由于作者水平有限，错漏缺点在所难免,希望得到您的批评指正，祝您工作如意，学习顺利！

############################################################

转载请注明出处，谢谢！原文地址：http://www.cnblogs.com/masonwang/p/4526739.html

############################################################