centos7安装hadoop集群版本为2.9.1和安装yarn集群

安装大概步骤：

1.先安装一台虚拟机，装好jdk，hadoop配置

2.复制克隆出三台，搭建ssh免密登陆

一.先准备一台虚拟机

1.防火墙：

关闭防火墙：systemctl status firewalld

防止防火墙自启：systemctl disable firewalld

2.安装JDK

3.修改主机：hostnamectl set-hostname hdp-01

vi /etc/hosts 追加

192.168.31.114 hdp-01
192.168.31.115 hdp-02
192.168.31.116 hdp-03
192.168.31.117 hdp-04

4.修改hadoop配置

4.1修改hadoop-env.sh

export JAVA_HOME=/root/jdk1.8.0_151

4.2修改core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdp-01:9000</value>
</property>
</configuration>

4.3修改hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hdpdata/name/</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hdpdata/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hdp-02:50090</value>
</property>
</configuration>

二、复制克隆出三台，搭建ssh免密登陆

1.搭建ssh免密登陆：

ssh-keygen -t dsa

2.配置环境变量

export HADOOP_HOME=/root/apps/hadoop-2.9.1
:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.启动hdfs

首先，初始化namenode的元数据目录

要在hdp-01上执行hadoop的一个命令来初始化namenode的元数据存储目录

hadoop namenode -format

l 创建一个全新的元数据存储目录

l 生成记录元数据的文件fsimage

l 生成集群的相关标识：如：集群id——clusterID

然后，启动namenode进程（在hdp-01上）

hadoop-daemon.sh start namenode

启动完后，首先用jps查看一下namenode的进程是否存在

然后，在windows中用浏览器访问namenode提供的web端口：50070

http://hdp-01:50070

然后，启动众datanode们（在任意地方）

hadoop-daemon.sh start datanode

6) 用自动批量启动脚本来启动HDFS

1) 先配置hdp-01到集群中所有机器（包含自己）的免密登陆

2) 配完免密后，可以执行一次 ssh 0.0.0.0

3) 修改hadoop安装目录中/etc/hadoop/slaves（把需要启动datanode进程的节点列入）

hdp-01

hdp-02

hdp-03

hdp-04

4) 在hdp-01上用脚本：start-dfs.sh 来自动启动整个集群

5) 如果要停止，则用脚本：stop-dfs.sh

安装yarn集群

yarn集群中有两个角色：

主节点：Resource Manager 1台

从节点：Node Manager N台

Resource Manager一般安装在一台专门的机器上

Node Manager应该与HDFS中的data node重叠在一起

修改配置文件：

yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdp-01</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>

<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>2</value>
</property>