Hadoop---静动态增删节点

　　　　　　　　静动态增删节点

　初始：

　　这是我现在的集群

　　　

　　重新克隆一个虚拟机：

　　　　hadoop44:datanode(静态增加，删除和动态删除)

　　　　hadoop55:datanode（动态hdfs添加，yarn动态增删）

　　静态添加：

　　　　1）修改hosts文件，让主可以认识它

　　　　　　vi /etc/hosts

　　　　　　

　　　　2）设置无密码访问hadoop44（keygen的生成--> ssh-keygen -t rsa）

　　　　　　

　　　　3)分别给从机中发送hosts文件和给hadoop44方法送profile文件和hadoop-2.6.0,以及重启hadoop44的profile文件（source /etc/profile）

　　　　　　

　　　　4）修改配置文件slaves文件 

　　　　　　

　　　　5)查看效果

　　　　　　192.168.11.11：50070

　　　　　　

　　　　　　192.168.11.11：8088

　　　　　　

　静态删除：

　　　1.　静态删除节点：

　　　　　

　　　2. 页面：只是停止心跳

　　　　　

　动态增删节点：　

　　动态删除hadoop3

　　　　1）修改hdfs.site.xml

    <property>
        <name>dfs.hosts</name>
        <value>/home/bigData/hadoop-2.6.0/etc/hadoop/dfs-hosts.conf</value>
    </property>
    <property>
        <name>dfs.hosts.exclude</name>
        <value>/home/bigData/hadoop-2.6.0/etc/hadoop/dfs-exhosts.conf</value>
    </property>

　　　　　　

　　　　　　

　　　2)同步资源文件并启动服务-->start.all.sh

　　　　　　scp * hadoop2/3/44`pwd`

　　　　　　

　　　　　　启动：

　　　　　

 

　　　3)删除节点状态

　　　　　1.修改配置文件（上面刚刚建的dfs-exhosts.conf）

　　　　　　

　　　　  2.刷新 --> hdfs dfsadmin -refreshNodes

　　　　　  

　　　　  3.页面或者（hdfs.dfsadmin -report）

　　　　　　

　　　　　　　　

　　动态添加hadoop55节点

　　　　1）hadooop5需要做和前面相同的配置，启动hadopp55

　　　　　　

　　　　2) 网页（如果你hadoop1/hadoop2有大量文件，而hadoop55上线时会自动做一个平衡，将文件分一些给hadoop55）

　　　　　　

　　动态增加和卸载yarn节点 :　　

　　　　　1)修改配置文件（增加和卸载） 　

　　　　　　<property>
		<name>yarn.resourcemanager.nodes.include-path</name>
		<value>/home/bigData/hadoop-2.6.0/etc/hadoop/yarn-hosts-include.conf</value>
	</property>
	<property>
		<name>yarn.resourcemanager.nodes.exclude-path</name>
		<value>/home/bigData/hadoop-2.6.0/etc/hadoop/yarn-hosts-exclude.conf</value>
	</property>

　　　　　2）在相应的目录下创建文件夹：

　　　　　　

　　　　　3.1）启动hadoop55做yarn节点的增加

　　　　　　　　

　　　　　4）网页

　　　　　　　　

 　　　　　3.2)删除节点，刷新yarn文件

　　　　　　　　 

　　　　　4）网页

 　　　　　　

 　　　注意：

　　　　　动态增删hdfs节点时不要进行-->hdfs dfsadmin refresh 刷新，如果刷新了会节点死掉，这个刷新节点只支持大数据2.47之前，我们现在使用的是2.6.0版本

 　结束：　　

　　　　一个有5台机器，还有一台就是hadoop55

　　　　

　　　　

 

 

　　　　huhu_k：每一个成功都不是一朝一夕的事情