hadoop安装部署

下载安装

官网https://hadoop.apache.org/

系统CentOS7

这里下载安装的hadoop-3.1.3.tar.gz

安装解压路径/opt/module

同时配置环境变量

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

配置好环境变量使生效后，执行hadoop version可以看到版本信息打印

这里使用三台服务器，域名分别为hadoop102,hadoop103,hadoop104

集群配置

1）集群部署规划

​ 注意：

Ø NameNode和SecondaryNameNode不要安装在同一台服务器

Ø ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

	hadoop102	hadoop103	hadoop104
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

2）配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

（1）默认配置文件：

要获取的默认文件	文件存放在Hadoop的jar包中的位置
[core-default.xml]	hadoop-common-3.1.3.jar/core-default.xml
[hdfs-default.xml]	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
[yarn-default.xml]	hadoop-yarn-common-3.1.3.jar/yarn-default.xml
[mapred-default.xml]	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

（2）自定义配置文件：

​ core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。

3）配置集群

（1）核心配置文件

配置core-site.xml

cd $HADOOP_HOME/etc/hadoop
vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="utf-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration> 
  <!-- 指定NameNode的地址 -->  
  <property> 
    <name>fs.defaultFS</name>  
    <value>hdfs://hadoop102:8020</value> 
  </property>  
  <!-- 指定hadoop数据的存储目录 -->  
  <property> 
    <name>hadoop.tmp.dir</name>  
    <value>/opt/module/hadoop-3.1.3/data</value> 
  </property>  
  <!-- 配置HDFS网页登录使用的静态用户为username -->  
  <property> 
    <name>hadoop.http.staticuser.user</name>  
    <value>username</value> 
  </property> 
</configuration>

PS:username是你登录CentOS7的用户名

（2）HDFS配置文件

配置hdfs-site.xml

 vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="utf-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration> 
  <!-- nn web端访问地址-->  
  <property>
    <name>dfs.namenode.http-address</name> 
    <value>hadoop102:9870</value> 
  </property>  
  <!-- 2nn web端访问地址-->  
  <property>
    <name>dfs.namenode.secondary.http-address</name> 
    <value>hadoop104:9868</value> 
  </property> 
</configuration>

（3）YARN配置文件

配置yarn-site.xml

vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="utf-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration> 
  <!-- 指定MR走shuffle -->  
  <property> 
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value> 
  </property>  
  <!-- 指定ResourceManager的地址-->  
  <property> 
    <name>yarn.resourcemanager.hostname</name>  
    <value>hadoop103</value> 
  </property>  
  <!-- 环境变量的继承 -->  
  <property> 
    <name>yarn.nodemanager.env-whitelist</name>  
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> 
  </property> 
</configuration>

（4）MapReduce配置文件

配置mapred-site.xml

vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="utf-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration> 
  <!-- 指定MapReduce程序运行在Yarn上 -->  
  <property> 
    <name>mapreduce.framework.name</name>  
    <value>yarn</value> 
  </property> 
</configuration>

4）在集群上分发配置好的Hadoop配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

5）去103和104上查看文件分发情况

cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

群起集群

1）配置workers

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容：

hadoop102

hadoop103

hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

同步所有节点配置文件

xsync /opt/module/hadoop-3.1.3/etc

2）启动集群

​ （1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

hdfs namenode -format

（2）启动HDFS

sbin/start-dfs.sh

（3）在配置了ResourceManager的节点（hadoop103）启动YARN

sbin/start-yarn.sh

（4）Web端查看HDFS的NameNode

（a）浏览器中输入：http://hadoop102:9870

​ （b）查看HDFS上存储的数据信息

（5）Web端查看YARN的ResourceManager

（a）浏览器中输入：http://hadoop103:8088

​ （b）查看YARN上运行的Job信息

3）集群基本测试

（1）上传文件到集群

Ø 上传小文件

hadoop fs -mkdir /input

hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

Ø 上传大文件

hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /

执行wordcount程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1）配置mapred-site.xml

vim mapred-site.xml

在该文件里面增加如下配置。

<!-- 历史服务器端地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>hadoop102:19888</value>
</property>

2）分发配置

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3）在hadoop102启动历史服务器

mapred --daemon start historyserver

4）查看历史服务器是否启动

jps

5）查看JobHistory

http://hadoop102:19888/jobhistory

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

​

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

开启日志聚集功能具体步骤如下：

1）配置yarn-site.xml

 vim yarn-site.xml

在该文件里面增加如下配置。

<!-- 开启日志聚集功能 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置日志聚集服务器地址 -->
<property> 
  <name>yarn.log.server.url</name> 
  <value>http://hadoop102:19888/jobhistory/logs</value>
</property>

<!-- 设置日志保留时间为7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

2）分发配置

xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3）关闭NodeManager 、ResourceManager和HistoryServer

在hadoop103上的hadoop目录下执行

sbin/stop-yarn.sh
mapred --daemon stop historyserver

4）启动NodeManager、ResourceManage和HistoryServer

在hadoop103上

start-yarn.sh

在hadoop102上

mapred --daemon start historyserver

5）删除HDFS上已经存在的输出文件

在hadoop102上

hadoop fs -rm -r /output

6）执行WordCount程序

在hadoop102上的hadoop目录下

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

7）查看日志

​ （1）历史服务器地址

http://hadoop102:19888/jobhistory

​ （2）历史任务列表

​

​ （3）查看任务运行日志

​

​ （4）运行日志详情

​

集群启动/停止方式总结

1）各个模块分开启动/停止（配置ssh是前提）常用

​ （1）整体启动/停止HDFS

start-dfs.sh/stop-dfs.sh

​ （2）整体启动/停止YARN

start-yarn.sh/stop-yarn.sh

2）各个服务组件逐一启动/停止

​ （1）分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

​ （2）启动/停止YARN

yarn --daemon start/stop resourcemanager/nodemanager

编写Hadoop集群常用脚本

1）Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh

cd /home/username/bin

#这个username是你的用户名

vim myhadoop.sh

Ø 输入如下内容

#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop101 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop101 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop101 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop101 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

Ø 保存后退出，然后赋予脚本执行权限

chmod +x myhadoop.sh

2）查看三台服务器Java进程脚本：jpsall

cd /home/username/bin
vim jpsall

Ø 输入如下内容

#!/bin/bash
for host in hadoop101 hadoop102 hadoop103
do
        echo =============== $host ===============
        ssh $host jps $@ | grep -v Jps
done

Ø 保存后退出，然后赋予脚本执行权限

chmod +x jpsall

3）分发/home/atguigu/bin目录，保证自定义脚本在三台机器上都可以使用

xsync /home/atguigu/bin/

常用端口号说明

端口名称	Hadoop2.x	Hadoop3.x
NameNode内部通信端口	8020 / 9000	8020 / 9000/9820
NameNode HTTP UI	50070	9870
MapReduce查看执行任务端口	8088	8088
历史服务器通信端口	19888	19888