Hadoop环境部署
1.虚拟机克隆
在VM界面点击查看-自定义-库，然后在左边我的计算机下右键点击安装好的第一个系统，然后管理-克隆，选择克隆系统所在的文件路径即可。
2.三台主机名字修改
root用户下：
（1）编辑network配置文件
gedit /etc/sysconfig/network
（2）在配置文件中增加如下配置，保存退出
NETWORKING=yes
HOSTNAME=master
（3）输入hostname master，然后关闭当前终端，重新打开一个终端，可以看到已经修改生效，由于上这些操作只是修改了瞬态主机名，并没有修改静态主机名
（4）编辑hostname配置文件
gedit /etc/hostname
（5）删除原来的配置并写入自己的名字
master
（6）然后对slave0和slave1重复操作即可。
3.hosts文件
（1）将三台主机的IP修改成静态IP
点击master系统桌面右上角网络连接图标-Wired Connected-Wired Setting-Wired后面的“+”，然后配置静态地址，掩码和网关
同理，将slave0的IP设置成192.168.1.101，slave1的IP设置成192.168.1.102，网关的掩码不变。
通过在master上执行ping 192.168.1.101能通就说明设置成功。
（2）修改hosts文件
[jun@master ~]$ gedit /etc/hosts
增加下面的配置
192.168.1.100 master 192.168.1.101 slave0 192.168.1.102 slave1
然后在master上直接执行ping slave0看是否能通，如果能通，就说明配置成功。另外两个slave上配置同理。
4.JDK下载与安装
（1）在JDK官网上下载jdk-8u171-linux-x64.tar.gz
（2）鼠标点击桌面上的home文件夹，新建Resources文件夹，将jdk压缩文件拷贝到Resources文件夹下
（3）使用root用户，将jdk压缩文件移动至自己新建的文件夹下
mkdir /usr/java mv /home/jun/Resources/jdk-8u171-linux-x64.tar.gz /usr/java
（4）进入/usr/java中解压文件
tar -zxvf jdk-8u171-linux-x64.tar.gz
（5）在/usr/java文件夹下有解压出来的文件
[jun@master java]$ ls jdk1.8.0_171 jdk-8u171-linux-x64.tar.gz
（6）使用gedit打开配置文件
gedit /home/jun/.bash_profile
（7）在配置文件最后面添加两条环境变量并保存退出
export JAVA_HOME=/usr/java/jdk1.8.0_171/ export PATH=$JAVA_HOME/bin:$PATH
（8）使配置文件生效
source /home/jun/.bash_profile
（9）查看是否配置成功
[root@slave0 .ssh]# java -version openjdk version "1.8.0_161" OpenJDK Runtime Environment (build 1.8.0_161-b14) OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)
5.关闭防火墙
三个节点上都需要配置，需要使用root用户
（1）查看系统防火墙当前的运行状态，主要看active后面的内容
systemctl status firewalld.service
（2）关闭防火墙，关闭之后可以再次查看一下状态，如果是Active: inactive (dead)就说明已经关闭
systemctl stop firewalld.service
（3）在下次启动计算机时取消防火墙服务
systemctl disable firewalld.service
6.ssh免密登录
（1）master节点的配置
使用非root用户，生成master节点的密钥，执行下面的命令，然后一路回车即可，生成的目录在/home/jun/.ssh中
[jun@master .ssh]$ ssh-keygen -t rsa
将公钥文件复制到.ssh目录中
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
修改文件权限
[jun@master .ssh]$ chmod 600 ~/.ssh/authorized_keys
将公钥文件复制到slave0节点和slave1节点上
[jun@master .ssh]$ scp ~/.ssh/authorized_keys jun@slave0:~/
[jun@master .ssh]$ scp ~/.ssh/authorized_keys jun@slave1:~/
（2）slave节点的配置
同样使用非root用户，生成slave节点的密钥，执行下面的命令，然后一路回车即可，生成的目录在/home/jun/.ssh中
[jun@slave0 ~]$ ssh-keygen -t rsa
将从master节点复制过来的公钥文件移动到.ssh文件夹下
[jun@slave0 ~]$ mv authorized_keys ~/.ssh/
然后cd到.ssh中给文件赋权限
[jun@slave0 .ssh]$ chmod 600 authorized_keys
在slave1上重复同样的操作
（3）测试是否成功
在master节点上直接执行ssh slave0命令，就可以登录到slave0的主机，并且不需要输入密码，输入exit命令可退回到原来的主机。slave1同理。
[jun@master .ssh]$ ssh slave0 Last login: Fri Jul 20 15:25:00 2018 [jun@slave0 ~]$ exit logout Connection to slave0 closed.
7.hadoop下载和安装
（1）下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.4/hadoop-2.8.4.tar.gz
（2）将下载下来的文件复制到master节点的/home/Resources下
（3）在usr下新建hadoop文件夹并把hadoop-2.8.4.tar.gz移动到hadoop文件夹下
[root@master usr]# mkdir hadoop [root@master usr]# mv /home/jun/Resources/hadoop-2.8.4.tar.gz /usr/hadoop/
（4）在/usr/hadoop下解压hadoop-2.8.4.tar.gz
hadoop-2.8.4.tar.gz
（5）在/usr/hadoop下有解压出来的hadoop-2.8.4文件夹，打开可以看到里面有很多文件
[root@master hadoop]# ls
hadoop-2.8.4 hadoop-2.8.4.tar.gz
[root@master hadoop]# cd hadoop-2.8.4/
[root@master hadoop-2.8.4]# ls -l
total 124
drwxr-xr-x. 2 1001 1001 194 May 8 10:58 bin
drwxr-xr-x. 3 1001 1001 20 May 8 10:58 etc
drwxr-xr-x. 2 1001 1001 106 May 8 10:58 include
drwxr-xr-x. 3 1001 1001 20 May 8 10:58 lib
drwxr-xr-x. 2 1001 1001 239 May 8 10:58 libexec
-rw-r--r--. 1 1001 1001 99253 May 8 10:58 LICENSE.txt
-rw-r--r--. 1 1001 1001 15915 May 8 10:58 NOTICE.txt
-rw-r--r--. 1 1001 1001 1366 May 8 10:58 README.txt
drwxr-xr-x. 2 1001 1001 4096 May 8 10:58 sbin
drwxr-xr-x. 4 1001 1001 31 May 8 10:58 share
[root@master hadoop-2.8.4]#
8.hadoop相关配置
（1）为了便于之后的配置，将hadoop-2.8.4移动到/home/jun/下，同时建立一个软链接
[root@master hadoop]# cp hadoop-2.8.4 /home/jun/ -rf [root@master jun]# cd /home/jun/ [root@master jun]# ln -s hadoop-2.8.4/ hadoop [root@master jun]# ls Desktop Downloads hadoop-2.8.4 Pictures Resources Videos Documents hadoop Music Public Template
（2）配置hadoop环境变量，打开hadoop-env.sh
[root@master hadoop]# gedit /home/jun/hadoop/etc/hadoop/hadoop-env.sh
将export JAVA_HOME=${JAVA_HOME}替换成export JAVA_HOME=/usr/java/jdk1.8.0_171/保存退出
（3）配置Yarn环境变量
[root@master hadoop]# gedit /home/jun/hadoop/etc/hadoop/yarn-env.sh
在# export JAVA_HOME=/home/y/libexec/jdk1.6.0/下面增加export JAVA_HOME=/usr/java/jdk1.8.0_171/保存退出即可
（4）配置核心组件文件core-site.xml
[root@master hadoop]# gedit /home/jun/hadoop/etc/hadoop/core-site.xml
增加下面的配置代码
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/jun/hadoopdata</value> </property> </configuration>
（5）配置文件系统hdfs-site.xml
[root@master hadoop]# gedit /home/jun/hadoop/etc/hadoop/hdfs-site.xml
增加下面的代码，配置HDFS数据块的副本数由默认的3变成1
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
（6）配置Yarn站点yarn-site.xml
[root@master hadoop]# gedit /home/jun/hadoop/etc/hadoop/yarn-site.xml
增加下面的代码
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<!-- Site specific YARN configuration properties -->
</configuration>
（7）配置MapReduce计算框架文件
先复制一份mapred-site.xml.template并改名，然后打开
[root@master hadoop]# cp /home/jun/hadoop/etc/hadoop/mapred-site.xml.template /home/jun/hadoop/etc/hadoop/mapred-site.xml [root@master hadoop]# gedit /home/jun/hadoop/etc/hadoop/mapred-site.xml
增加下面的代码
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
（8）配置Master的slaves文件
slaves文件给出了Hadoop集群的Slave节点列表，Hadoop在启动的时候，系统根据当前slaves中的Slave节点名称列表启动集群。
[root@master hadoop]# gedit /home/jun/hadoop/etc/hadoop/slaves
增加两个节点的名称
slave0
slave1
（9）复制Master节点上的hadoop，和之前的复制文件一样，由于已经设置了免密登录，因此不会输入密码
[jun@master java]$ scp -r /home/jun/hadoop jun@slave0:~/
[jun@master java]$ scp -r /home/jun/hadoop jun@slave1:~/
9.Hadoop集群的启动配置
（1）配置操作系统环境变量
普通用户下使用gedit打开系统配置文件
[jun@master java]$ gedit ~/.bash_profile
增加下面的环境变量
#hadoop export HADOOP_HOME=/home/jun/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
执行source使得配置生效
[jun@master java]$ source ~/.bash_profile
在另外两个节点上进行相同配置
（2）创建Hadoop数据目录
创建的数据目录要和之前配置过的<name>hadoop.tmp.dir</name> <value>/home/jun/hadoopdata</value>一致
[jun@master java]$ mkdir /home/jun/hadoopdata
在另外两个节点也要进行相同的配置
（3）格式化文件系统
只需在master上进行下面的操作，会将数据删除掉，要谨慎使用这条命令
[jun@master java]$ hdfs namenode -format
10.启动Hadoop集群
此时，启动hadoop还有一些问题，需要先将hadoop文件的所有者赋给系统用户，需要在三台虚拟机上都执行
chown -R jun /home/jun/hadoop
（1）启动HDFS，执行start-dfs.sh脚本，但是slave结点中的datanode没有启动
Starting namenodes on [master] master: starting namenode, logging to /home/jun/hadoop/logs/hadoop-jun-namenode-master.out slave0: starting datanode, logging to /home/jun/hadoop/logs/hadoop-jun-datanode-slave0.out slave1: starting datanode, logging to /home/jun/hadoop/logs/hadoop-jun-datanode-slave1.out Starting secondary namenodes [0.0.0.0] 0.0.0.0: starting secondarynamenode, logging to /home/jun/hadoop/logs/hadoop-jun-secondarynamenode-master.out [jun@master hadoop]$ jps 11648 Jps 11281 NameNode 11508 SecondaryNameNode [jun@slave0 ~]$ jps 6459 Jps
在slave0节点上的/home/jun/hadoop/logs中查看datanode日志，发现下面的问题
2018-07-21 19:58:48,363 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/home/jun/hadoopdata/dfs/data/ java.io.IOException: Incompatible clusterIDs in /home/jun/hadoopdata/dfs/data: namenode clusterID = CID-31d3821f-143c-45ca-97ed-1b37db24c6ef; datanode clusterID = CID-f9dbd23c-001e-4e81-bf06-2432b44c3676
异常信息里显示的是，namenode和datanode的clusterID不一致，这些异常就导致了后面提示初始化失败、DataNode进程退出等异常、警告信息。这是由于多次执行namenode格式化导致的。
首先停止HDFS
[jun@master logs]$ stop-dfs.sh Stopping namenodes on [master] master: stopping namenode slave1: no datanode to stop slave0: no datanode to stop Stopping secondary namenodes [0.0.0.0] 0.0.0.0: stopping secondarynamenode
然后删除slave结点下相关文件夹下的内容，即
rm /home/jun/hadoopdata/dfs/data/* -rf
再次启动HDFS发现都正常了
[jun@master logs]$ start-dfs.sh Starting namenodes on [master] master: starting namenode, logging to /home/jun/hadoop/logs/hadoop-jun-namenode-master.out slave1: starting datanode, logging to /home/jun/hadoop/logs/hadoop-jun-datanode-slave1.out slave0: starting datanode, logging to /home/jun/hadoop/logs/hadoop-jun-datanode-slave0.out Starting secondary namenodes [0.0.0.0] 0.0.0.0: starting secondarynamenode, logging to /home/jun/hadoop/logs/hadoop-jun-secondarynamenode-master.out [jun@master logs]$ jps 12807 Jps 12666 SecondaryNameNode 12427 NameNode [jun@slave0 data]$ jps 7031 Jps 6941 DataNode 6029 Jps [jun@slave1 ~]$ rm /home/jun/hadoopdata/dfs/data/* -rf [jun@slave1 ~]$ jps 6618 DataNode 6730 Jps
在master上的浏览器中输入http://master:50070即可通过web监视HDFS系统的运行情况
（2）启动Yarn，通过start-yarn.sh脚本，然后查看master和slave
[jun@master ~]$ start-yarn.sh starting yarn daemons starting resourcemanager, logging to /home/jun/hadoop/logs/yarn-jun-resourcemanager-master.out slave0: starting nodemanager, logging to /home/jun/hadoop/logs/yarn-jun-nodemanager-slave0.out slave1: starting nodemanager, logging to /home/jun/hadoop/logs/yarn-jun-nodemanager-slave1.out [jun@master ~]$ jps 3474 SecondaryNameNode 3242 NameNode 5211 Jps 4942 ResourceManager [jun@slave0 ~]$ jps 4146 NodeManager 3126 DataNode 4298 Jps [jun@slave1 ~]$ jps 3137 DataNode 4326 Jps 4174 NodeManager
在master上的浏览器中输入http://master:50070即可通过web监视Yarn系统的运行情况
（11）关闭Hadoop集群
执行下面两个脚本即可
stop-dfs.sh stop-yarn.sh
