Hadoop基础-Hadoop的集群管理之服役和退役

　　　　　　　　　　　　　　　　Hadoop基础-Hadoop的集群管理之服役和退役

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

 

 

　　在实际生产环境中，如果是上千万规模的集群，难免一个一个月会有那么几台服务器出点故障，在IDE机房这种事情几乎每个星期都会有那么几起事故发生，比如服务器断电，磁盘过慢，网络不同，核心路由故障，接入层交换机故障，在严重点就是一些二级运营商出口被攻击导致网络拥堵等等。刚刚说的这些事件都是我在实际工作中遇到的一些现象，因此，在大规模集群部署上，尤其是大数据，存储的都是海量数据，甚至可以用PB级别来形容，几十台服务器做大数据的公司估计也就是玩玩，像BATJ这样的大公司集群规模在4000个节点已经不再话下，每个服务器可插入的硬盘卡槽优先，4000台存储设备服务器，我生产中接触的是爱数的设备，他们有20个卡槽，每个卡槽可以装2T的文件，也就是一台机器只能保存40T文件，如果4000台这样的设备的话，也就160000T的数据，换算成PB差不多也就160PB的数据。

　　好了，说说我们本篇博客的重点，就是服务器的服役和退役，IDE人员喜欢统称这种操作为上架和下架。很久很久以前，去过北京朝阳酒仙桥的一个IDC机房实习了两个星期（那时候刚刚入职，领导让我去了解一下机房情况），其实用上架和下架来形容服役和退役的话不完全正确，为什么这么说呢？在IDE机房中，上架指的是给服务器通电，插上网线并将公网ip告知客户。下架就是断电将服务器或者网络设备归还给租户，而我们说的服役和退役，不仅仅是开机这么简单，而是让他进入工作状态，才是服役，而退役和其相反，就是不提供服务。

 

 

 

一.添加新节点的过程（服役）

1>.在dfs. hosts文件中（hdfs-site-xml）包含新节点名称，该文件在NameNode的本地目录。
dfs. hosts属性是真正指定DataNode服务器的节点，相当于指定白名单。如下：
[/soft/hadoop/etc/hadoop/DataNodesHostname.txt]
s102
s103
s104

2>.在hdfs-site-xml文件中添加属性
<property>
<name>dfs.hosts</name>
<value>/soft/hadoop/etc/hadoop/DataNodesHostname.txt</value>
</property>

3>.在NameNode上刷新节点（hdfs服务）
[yinzhengjie@s101 ~]$ hdfs dfsadmin -refreshNodes

4>.在NameNode上刷新节点（yarn服务，如果你没有启动该服务的话就可以暂时不管他）
[yinzhengjie@s101 ~]$ yarn rmadmin -refreshNodes

5>.在slaves文件中添加新节点ip（主机名）
一行代表一个主机，如下：
s102
s103
s104
s105

6>.单独启动新节点中的datanode
[yinzhengjie@s101 ~]$ hadoop-daemon.sh start datanode
 

 

二.删除旧节点的过程（退役）

1>.添加退役节点的ip到黑名单（dfs.hosts.exclude）,不要更新白名单
案例如下：在下面的配置文件中写入相应的主机名
[/soft/hadoop/etc/dfs.hosts.exclude.txt]
s101
s102

2>.配置hdfs-site.xml配置文件
<property>
<name>dfs.hosts.exclude</name>
<value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>
</property>

3>.在NameNode上刷新节点（hdfs服务）
[yinzhengjie@s101 ~]$ hdfs dfsadmin -refreshNodes

4>.在NameNode上刷新节点（yarn服务，如果你没有启动该服务的话就可以暂时不管他）
[yinzhengjie@s101 ~]$ yarn rmadmin -refreshNodes

5>.查看webUI
节点状态在decommisstion In Progresss

6>.当所有的要退役的节点都报告为Decommissioned 
要退役的节点报告信息是Decommissioned ,说明退役成功。说明退役的过程就是在迁移数据到服役的节点中。

7>.从白名单删除节点，并刷新节点
[yinzhengjie@s101 ~]$ hdfs dfsadmin -refreshNodes

8>.从slave文件中删除退役的节点

 

 

三.黑白名单的组合情况

 

四.节点的服役案例展示

1>.查看webUI的界面

2>.编辑hdfs-site.xml 配置文件

 [yinzhengjie@s101 ~]$ more /soft/hadoop/etc/hadoop/hdfs-site.xml 
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--
<property>
<name>dfs.hosts</name>
<value>/soft/hadoop/etc/hadoop/DataNodesHostname.txt</value>
</property>
-->
<property>
<name>dfs.hosts.exclude</name>
<value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>
</property>

</configuration>

<!--
hdfs-site.xml 配置文件的作用：
#HDFS的相关设定，如文件副本的个数、块大小及是否使用强制权限
等，此中的参数定义会覆盖hdfs-default.xml文件中的默认配置.

dfs.replication 参数的作用：
#为了数据可用性及冗余的目的，HDFS会在多个节点上保存同一个数据
块的多个副本，其默认为3个。而只有一个节点的伪分布式环境中其仅用
保存一个副本即可，这可以通过dfs.replication属性进行定义。它是一个
软件级备份。

dfs.hosts 参数的作用：
#添加白名单，功能和黑名单（dfs.hosts.exclude）相反。我这里是将其注释掉了。

dfs.hosts.exclude 参数的作用:
#这是我们添加的黑名单，该属性的value定义的是一个配置文件，这个配置文件的主机就是需要退役的节点。

-->
[yinzhengjie@s101 ~]$ 

3>.编辑黑名单

[yinzhengjie@s101 ~]$ more /soft/hadoop/etc/dfs.hosts.exclude.txt 
s102
[yinzhengjie@s101 ~]$ 

4>.刷新NameNode节点

[yinzhengjie@s101 ~]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful
[yinzhengjie@s101 ~]$ 

5>.上线新的节点（这台机器配置需要和完全分布式的DataNode模式一致），启动DataNode服务

[yinzhengjie@s105 ~]$ ll /soft/hadoop/etc/
total 12
drwxr-xr-x. 2 yinzhengjie yinzhengjie 4096 May 28 01:27 full
drwxr-xr-x. 2 yinzhengjie yinzhengjie 4096 May 25 00:12 local
drwxr-xr-x. 2 yinzhengjie yinzhengjie 4096 May 28 01:28 pseudo
[yinzhengjie@s105 ~]$ 
[yinzhengjie@s105 ~]$ ln -s /soft/hadoop/etc/full/ /soft/hadoop/etc/hadoop
[yinzhengjie@s105 ~]$ 
[yinzhengjie@s105 ~]$ ll /soft/hadoop/etc/
total 12
drwxr-xr-x. 2 yinzhengjie yinzhengjie 4096 May 28 01:27 full
lrwxrwxrwx. 1 yinzhengjie yinzhengjie 22 May 28 01:32 hadoop -> /soft/hadoop/etc/full/
drwxr-xr-x. 2 yinzhengjie yinzhengjie 4096 May 25 00:12 local
drwxr-xr-x. 2 yinzhengjie yinzhengjie 4096 May 28 01:28 pseudo
[yinzhengjie@s105 ~]$ 
[yinzhengjie@s105 ~]$ hadoop-daemon.sh start datanode
starting datanode, logging to /soft/hadoop-2.7.3/logs/hadoop-yinzhengjie-datanode-s105.out
[yinzhengjie@s105 ~]$ jps
2757 Jps
2680 DataNode
[yinzhengjie@s105 ~]$ 

6>.再次查看webUI界面，查看新节点是否上线

 

7>.确认退役成功

 

四.节点的服役案例展示

1>.查webUI界面，发现新服役的节点正常工作但是之前的退役节点还在，我们需要将退役的节点删除掉！

 

2>.编辑hdfs-site.xml 配置文件

[yinzhengjie@s101 ~]$ more /soft/hadoop/etc/hadoop/hdfs-site.xml 
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<property>
<name>dfs.hosts</name>
<value>/soft/hadoop/etc/hadoop/DataNodesHostname.txt</value>
</property>
<property>
<name>dfs.hosts.exclude</name>
<value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>
</property>

</configuration>

<!--
hdfs-site.xml 配置文件的作用：
#HDFS的相关设定，如文件副本的个数、块大小及是否使用强制权限
等，此中的参数定义会覆盖hdfs-default.xml文件中的默认配置.

dfs.replication 参数的作用：
#为了数据可用性及冗余的目的，HDFS会在多个节点上保存同一个数据
块的多个副本，其默认为3个。而只有一个节点的伪分布式环境中其仅用
保存一个副本即可，这可以通过dfs.replication属性进行定义。它是一个
软件级备份。

dfs.include 参数的作用：
#添加白名单，功能和黑名单（dfs.hosts.exclude）相反。

dfs.hosts.exclude 参数的作用:
#这是我们添加的黑名单，该属性的value定义的是一个配置文件，这个配置文件的主机就是需要退役的节点。

-->
[yinzhengjie@s101 ~]$ 

3>.编辑白名单

[yinzhengjie@s101 ~]$ more /soft/hadoop/etc/hadoop/DataNodesHostname.txt
s103
s104
s105
[yinzhengjie@s101 ~]$ 

4>.查看当前的webUI界面（节点已经处于退役状态）

 

5>.刷新NameNode节点

[yinzhengjie@s101 ~]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful
[yinzhengjie@s101 ~]$ 

6>.webUI确认刷新成功

 

 

六.yarn的服役和退役

如果你会了hdfs的服役和退役的话，其实yarn就是so easy的一件事啦，就是照猫画虎的方法，步骤重复过程较多，我就懒得截图了，配置过程跟我上面配置hdfs不愁类似，相信你有举一反三的能力哟。
1>.首先修改yarn的配置文件("yarn-site-xml")。修改其属性“yarn.resourcemanager.nodes.exclude-path”即可，黑名单配置如下：
[/sotf/hadoop/etc/hadoop/yarn-site.xml]
<property>
<name>yarn.resourcemanager.nodes.exclude-path</name>
<value>/soft/hadoop/etc/hadoop/yarn.exclude.hosts</value>
</property>
对了，如果想要配置白名单的话，需要设置“yarn.resourcemanager.nodes.include-path”属性哟！
2>.编辑yarn的配置文件“yarn.resourcemanager.nodes.exclude-path”
修改配置文件内容如下：
[/soft/hadoop/etc/hadoop/yarn.exclude.hosts]
s102
3>.刷新节点
配置上述步骤后及得刷新节点，使用命令：“[yinzhengjie@s101 ~]$ yarn rmadmin -refreshNodes” 即可。
4>.单独启动新的节点中 nodemanager
[yinzhengjie@s101 ~]$ yarn-daemon.sh start nodemananger