Hadoop动态添加Datanode节点
(如果有想一起分享交流Hadoop开发经验的IT人,可以加群:242118276,附加认证信息,非诚勿扰,多谢!)
假定已经有了一个hadoop cluster环境,并且已经有了两个slave节点slave1和slave2,这里需要动态添加一个新的节点slave3.
0. 拷贝Hadoop软件代码并创建无密码登录SSH
直接从master拷贝代码即可
1.添加slave3
修改master机器上的${HADOOP_HOME}/conf/slaves文件,在其中添加一个新的slave节点,比如
slave1
slave2
slave3(新增加的)
2. 启动命令
登录到新添加的slave3节点上,进入${HADOOP_HOME}目录并运行以下命令:
$ bin/hadoop-daemon.sh start datanode
$ bin/hadoop-daemon.sh start tasktracker
3. 验证添加是否成功
访问http://master:50070/可以看到"Live Nodes"的数量就从2变成了3;//master替换成自己master主机的ip地址
也可以通过以下命令行来验证是否成功
$ bin/hadoop dfsadmin -report