Hadoop环境搭建

Hadoop

HDFS、Yarn、MapReduce

Hadoop集群环境搭建

完全分布式环境，伪分布式将其中的多台服务器改为一台，并将配置文件中的相关内容更改即可

1、安装Linux系统模型机

关闭防火墙：

CentOS:
systemctl stop firewalld 
systemctl disable firewalld.service

Ubuntu:
ufw disable 

修改环境变量：

vim /etc/profile.d/my_env.sh

配置JDK环境变量：vim /etc/profile.d/my_env.sh

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

配置Hadoop环境变量

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

更新环境变量：

source /etc/profile

设置host映射：Linux系统、Windows系统

修改静态IP地址：虚拟机、Linux系统和Windows系统

 CentOS:
 vim /etc/sysconfig/network-scripts/ifcfg-ens33

2、复制Linux系统

修改复制后的各个系统的静态IP地址和主机名

3、密钥免密登录

生成密钥：

ssh-keygen -t rsa

分发密钥：

ssh-copy-id 服务器地址

4、配置完全分布式环境

修改配置文件：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 、workers

core-site.xml文件：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!-- 指定 NameNode 的地址 -->
     <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop102:8020</value>
     </property>
     <!-- 指定 hadoop 数据的存储目录 -->
     <property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/module/hadoop-3.1.3/data</value>
     </property>
     <!-- 配置 HDFS 网页登录使用的静态用户为 an -->
     <property>
     <name>hadoop.http.staticuser.user</name>
     <value>an</value>
     </property>

    <!--如果需要用到 spark 的话，需要在 core-site.xml 中加入如下：【否则会出错】-->
    <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
    </property>
    <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
    </property>

</configuration>

hdfs-site.xml文件：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

    <property>
    <name>dfs.replication</name>
    <value>3</value>
    <!--默认为3，搭建伪分布式时只有一个节点、改为1即可-->
    </property>

    <!-- nn web 端访问地址-->
    <property>
     <name>dfs.namenode.http-address</name>
     <value>hadoop102:9870</value>
     </property>
    <!-- 2nn web 端访问地址-->
     <property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>hadoop104:9868</value>
     </property>
</configuration>

yarn-site.xml文件：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!-- 指定 MR 走 shuffle -->
     <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
     </property>
     <!-- 指定 ResourceManager 的地址-->
     <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>hadoop103</value>
     </property>
     <!-- 环境变量的继承 -->
     <property>
     <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
    RED_HOME</value>
     </property>

    <!-- 开启日志聚集功能 -->
    <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property> 
     <name>yarn.log.server.url</name> 
     <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为 7 天 -->
    <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>604800</value>
    </property>
</configuration>

mapred-site.xml文件：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
     <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
     </property>

     <!-- 历史服务器端地址 -->
    <property>
     <name>mapreduce.jobhistory.address</name>
     <value>hadoop102:10020</value>
    </property>
    <!-- 历史服务器 web 端地址 -->
    <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>hadoop102:19888</value>
    </property>
</configuration>

分发到各个Linux服务器

5、启动集群

格式化：hdfs namenode -format
启动和关闭HDFS： start-dfs.sh  stop-dfs.sh
启动和关闭Yarn： strat-yarn.sh  stop-yarn.sh

统一启动和关闭：start-all.sh stop-all.sh
启动历史服务器：mapred --daemon start historyserver

启动和关闭脚本：

#!/bin/bash
if [ $# -lt 1 ]
then
 echo "No Args Input..."
 exit ;
fi
case $1 in
"start")
 echo " =================== 启动 hadoop 集群 ==================="
 echo " --------------- 启动 hdfs ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
 echo " --------------- 启动 yarn ---------------"
 ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
 echo " --------------- 启动 historyserver ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start 
historyserver"
;;
"stop")
 echo " =================== 关闭 hadoop 集群 ==================="
 echo " --------------- 关闭 historyserver ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop 
historyserver"
 echo " --------------- 关闭 yarn ---------------"
 ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
 echo " --------------- 关闭 hdfs ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
 echo "Input Args Error..."
;;
esac

6、常用端口号

查看 JobHistory hadoop102:19888:jobhistory