linux系统下Hadoop集群环境搭建

1、前言

基于redhat7.6系统搭建全分布式Hadoop3.3.5集群环境（模拟三台机，1主角色，2从角色）。

 

2、安装虚拟机

参考：https://www.cnblogs.com/jpxjx/p/16800831.html

 

3、虚拟机安装redhat7.6

参考：https://www.cnblogs.com/jpxjx/p/16815045.html

 

4、修改主机名

vi /etc/hosts

 

5、关闭防火墙

firewall-cmd --state #查看防火墙状态
systemctl stop firewalld.service #停止firewalld服务
systemctl disable firewalld.service #开机禁用firewalld服务

6、集群时间同步

ntpdate ntp5.aliyun.com

 

7、ssh免密登录（只需要配置hadoop至hadoop01、hadoop02即可）

#node1生成公钥私钥 (一路回车)
ssh-keygen

#node1配置免密登录到hadoop hadoop01 hadoop02
　　ssh-copy-id hadoop
　　ssh-copy-id hadoop01
　　ssh-copy-id hadoop02

 

8、安装JDK 1.8

卸载自带的openjdk：

rpm -qa|grep java #查看已安装的包

再执行以下命令删除包

rpm -e --nodeps 包名

rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64

rpm -e --nodeps java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64

 

 创建目录export/server并将jdk安装包上传到该目录下

 解压：tar zxvf jdk-8u241-linux-x64.tar.gz

配置环境变量：vi /etc/profile

export JAVA_HOME=/root/export/server/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

重新加载环境变量文件：source /etc/profile

 

9、Hadoop安装

上传Hadoop安装包hadoop-3.3.5.tar.gz到hadoop /root/export/server

解压：tar zxvf hadoop-3.3.5.tar.gz

 

 

10、hadoop 的环境配置

路径：/root/export/server/hadoop-3.3.5/etc/hadoop

 

10.1、hadoop-env.sh

#文件最后添加
export JAVA_HOME=/root/export/server/jdk1.8.0_241

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root 

10.2、core-site.xml

<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop:8020</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/root/export/data/hadoop-3.3.5</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

<!-- 文件系统垃圾桶保存时间 -->
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

10.3、hdfs-site.xml

<!-- 设置SNN进程运行机器位置信息 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop01:9868</value>
</property>

10.4、mapred-site.xml

<!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

<!-- MR程序历史服务地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>hadoop:10020</value>
</property>
 
<!-- MR程序历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>hadoop:19888</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

10.5、yarn-site.xml

<!-- 设置YARN集群主角色运行机器位置 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 是否将对容器实施物理内存限制 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop:19888/jobhistory/logs</value>
</property>

<!-- 历史日志保存的时间 7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

10.6、workers

hadoop
hadoop01
hadoop02

 

11、分发同步hadoop安装包到其他及其hadoop01、hadoop02

cd /root/export/server

scp -r hadoop-3.3.5 root@hadoop01:$PWD
scp -r hadoop-3.3.5 root@hadoop02:$PWD

 

12、将hadoop添加到环境变量（3台机器）

vi /etc/profile

export HADOOP_HOME=/root/export/server/hadoop-3.3.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

 

13、Hadoop集群启动

首次启动需格式化namenode

hdfs namenode -format

在hadoop上，使用软件自带的shell脚本一键启动。前提：配置好机器之间的SSH免密登录和workers文件

启停路径：/root/export/server/hadoop-3.3.5/sbin

HDFS集群:
启动：start-dfs.sh
停止：stop-dfs.sh
YARN集群
启动：start-yarn.sh
停止：stop-yarn.sh
Hadoop集群
启动：start-all.sh
停止：stop-all.sh

 

14、Web UI页面

HDFS集群：http://namenode_host:9870/  

其中namenode_host是namenode运行所在机器的主机名或者ip

如果使用主机名访问，否则Windows配置hosts，否则输入ip地址

 

 

YARN集群：http://resourcemanager_host:8088/ 

其中resourcemanager_host是resourcemanager运行所在机器的主机名或者ip

如果使用主机名访问，需在Windows配置hosts，否则输入ip地址