hadoop安装

初始配置

安装模板虚拟机
centos最小化安装,IP192.168.31.100,主机名称Hadoop100,配置上网后

安装epel-release

“红帽系”的操作系统提供额外的软件包,相当于是一个软件仓库

[root@localhost ~]# yum install -y epel-release

net-tool：工具包集合，包含ifconfig等命令

[root@localhost ~]# yum install -y net-tools
[root@localhost ~]# yum install -y vim

关闭防火墙，关闭防火墙开机自启

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld.service

创建atguigu用户,设置密码,并配置atguigu用户具有root权限

[root@localhost ~]# useradd atguigu
[root@localhost ~]# passwd atguigu

[root@localhost ~]# vim /etc/sudoers
# 在%wheel这行下面添加一行，如下所示：
...
root    ALL=(ALL)       ALL

## Allows members of the 'sys' group to run networking, software, 
## service management apps and more.
# %sys ALL = NETWORKING, SOFTWARE, SERVICES, STORAGE, DELEGATING, PROCESSES, LOCATE, DRIVERS

## Allows people in group wheel to run all commands
%wheel  ALL=(ALL)       ALL
atguigu   ALL=(ALL)     NOPASSWD:ALL

注意：atguigu这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了atguigu具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以atguigu要放到%wheel这行下面。

在/opt目录下创建module、software文件夹,并修改所有者和所属组均为atguigu用户

[root@localhost ~]# mkdir /opt/module
[root@localhost ~]# mkdir /opt/software
[root@localhost ~]# chown atguigu:atguigu /opt/module
[root@localhost ~]# chown atguigu:atguigu /opt/software
[root@localhost ~]# cd /opt/
[root@localhost opt]# ll
总用量 8
drwxr-xr-x. 2 atguigu atguigu 4096 2月  29 22:31 module
drwxr-xr-x. 2 atguigu atguigu 4096 2月  29 22:31 software
[root@localhost opt]# 

卸载虚拟机自带的JDK

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps 

最小化安装不需要卸载自带jdk,如果不是的话需要卸载

完全分布式运行模式

克隆虚拟机

上面已经有模板机hadoop100，克隆三台虚拟机：hadoop102 hadoop103 hadoop104

修改hadoop102,hadoop103,hadoop104的主机名和IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33

vim /etc/hostname
hadoop102

[root@hadoop102 ~]# vim /etc/hosts
#在文件底部添加
192.168.31.100 hadoop100
192.168.31.101 hadoop101
192.168.31.102 hadoop102
192.168.31.103 hadoop103
192.168.31.104 hadoop104
192.168.31.105 hadoop105
192.168.31.106 hadoop106
192.168.31.107 hadoop107
192.168.31.108 hadoop108

安装JDK和Hadoop

Hadoop102上进行安装
jdk文件上传到/opt/software/下

[atguigu@hadoop102 ~]$ cd /opt/software/
[atguigu@hadoop102 software]$ ls
hadoop-3.1.3.tar.gz  jdk-8u212-linux-x64.tar.gz

解压到/opt/module

[atguigu@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置JDK环境变量
新建/etc/profile.d/my_env.sh文件

[atguigu@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh

# 添加如下内容
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

source一下/etc/profile文件，让新的环境变量PATH生效

[atguigu@hadoop102 software]$ source /etc/profile

测试JDK是否安装成功

[atguigu@hadoop102 software]$ java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)

将hadoop安装包放入到softwaer

[atguigu@hadoop102 software]$ ls
hadoop-3.1.3.tar.gz  jdk-8u212-linux-x64.tar.gz

解压安装文件到/opt/module下面

[atguigu@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

查看是否解压成功

[atguigu@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3  jdk1.8.0_212

将Hadoop添加到环境变量

[atguigu@hadoop102 software]$ pwd
/opt/software

[atguigu@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh

在my_env.sh文件末尾添加如下内容
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

生效并测试

[atguigu@hadoop102 software]$ source /etc/profile
[atguigu@hadoop102 software]$ hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar

编写分发脚本

使java,hadoop从102,同步到103和104

SCP:可以实现服务器和服务器之间的数据拷贝

选项	功能
-r	递归

推送数据:在hadoop102上，将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上。

[atguigu@hadoop102 software]$ scp -r /opt/module/jdk1.8.0_212  atguigu@hadoop103:/opt/module

操作其他两个虚拟机
拉取数据:在hadoop103上，将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop103上。

[atguigu@hadoop103 opt]$ scp -r atguigu@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/

在hadoop103上操作，将hadoop102中/opt/module目录下所有目录拷贝到hadoop104上

[atguigu@hadoop103 opt]$ scp -r atguigu@hadoop102:/opt/module/* atguigu@hadoop104:/opt/module

rsync远程同步工具

rsync主要用于备份和镜像。
rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

选项	功能
-a	归档拷贝
-v	显示复制过程

最小化安装的话需安装(3个虚拟机都需要)

[root@hadoop102 module]# yum install rsync

删除hadoop103中/opt/module/hadoop-3.1.3/wcinput

[atguigu@hadoop103 opt]$ rm -rf /opt/module/hadoop-3.1.3/wcinput/

同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103

[atguigu@hadoop102 module]$ rsync -av hadoop-3.1.3/ atguigu@hadoop103:/opt/module/hadoop-3.1.3/

xsync集群分发脚本

脚本要放在声明了全局环境变量的路径

echo $PATH

脚本实现

在/home/atguigu/bin目录下创建xsync文件

[atguigu@hadoop102 opt]$ cd /home/atguigu
[atguigu@hadoop102 ~]$ mkdir bin
[atguigu@hadoop102 ~]$ cd bin
[atguigu@hadoop102 bin]$ vim xsync

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

修改脚本 xsync 具有执行权限

chmod +x xsync

测试脚本

xsync /home/atguigu/bin

将脚本复制到/bin中，以便全局调用

sudo cp xsync /bin/

同步环境变量配置

sudo ./bin/xsync /etc/profile.d/my_env.sh

在103,104机器上使文件生效
source /etc/profile

免密登录

原理
在服务器A上创新密钥对(公钥和私钥),私钥不要让别人知道,公钥拷贝到服务器B的一个已授权的文件中,后续A访问B时,B会查询到和A之前已经达成过协议,用A公钥加密的数据返回给A

生成公钥和私钥

pwd
/home/atguigu/.ssh
[atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免密登录的目标机器上

[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104

还需要在hadoop103上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。
还需要在hadoop104上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。
还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

~/.ssh
文件功能解释

文件	功能
known_hosts	记录ssh访问过计算机的公钥（public key）
id_rsa	生成的私钥
id_rsa.pub	生成的公钥
authorized_keys	存放授权过的无密登录服务器公钥

配置集群

集群部署规划

NameNode,SecondaryNameNode,ResourceManager都比较耗内存,所以规划时将他们分开,如果你的资源很充足,也完全可以放在一块

	hadoop102	hadoop103	hadoop104
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

配置文件

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

默认配置文件

要获取的默认文件	文件存放在Hadoop的jar包中的位置
[core-default.xml]	hadoop-common-3.1.3.jar/core-default.xml
[hdfs-default.xml]	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
[yarn-default.xml]	hadoop-yarn-common-3.1.3.jar/yarn-default.xml
[mapred-default.xml]	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

自定义配置文件
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。

配置集群

cd $HADOOP_HOME/etc/hadoop

vim core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
    </property>
</configuration>

vim hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

vim yarn-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

vim mapred-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

在集群上分发配置好的Hadoop配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

去103和104上查看文件分发情况

cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

群起集群

配置workers

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

hadoop102
hadoop103
hadoop104

同步所有节点配置文件

xsync /opt/module/hadoop-3.1.3/etc

启动集群

如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

[atguigu@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

启动HDFS

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
Starting namenodes on [hadoop102]
Starting datanodes
hadoop103: WARNING: /opt/module/hadoop-3.1.3/logs does not exist. Creating.
hadoop104: WARNING: /opt/module/hadoop-3.1.3/logs does not exist. Creating.
Starting secondary namenodes [hadoop104]

[atguigu@hadoop102 hadoop-3.1.3]$ jps
22000 NodeManager
20379 NameNode
20572 DataNode
30668 Jps

在配置了ResourceManager的节点（hadoop103）启动YARN

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
Starting resourcemanager
Starting nodemanagers

[atguigu@hadoop103 hadoop-3.1.3]$ jps
8480 Jps
130566 NodeManager
129097 DataNode
130381 ResourceManager

Web端查看HDFS的NameNode:http://192.168.31.102:9870/
Web端查看YARN的ResourceManager:http://192.168.31.103:8088/

配置历史服务器

[atguigu@hadoop102 hadoop-3.1.3]$ cd etc/hadoop/
[atguigu@hadoop102 hadoop]$ vim mapred-site.xml
    # 在原有内容钟添加
    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop102:10020</value>
    </property>

    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop102:19888</value>
    </property>
[atguigu@hadoop102 hadoop]$ xsync ./mapred-site.xml

yarn要重启下

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

启动历史服务器

[atguigu@hadoop102 hadoop-3.1.3]$ bin/mapred --daemon start historyserver
[atguigu@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
[atguigu@hadoop102 hadoop-3.1.3]$ jps
19395 JobHistoryServer
17527 NameNode
21898 Jps
21403 NodeManager
17724 DataNode

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

vim yarn-site.xml
    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property>  
        <name>yarn.log.server.url</name>  
        <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

分发配置文件

xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

关闭NodeManager 、ResourceManager和HistoryServer

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguigu@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver

启动NodeManager 、ResourceManage和HistoryServer

[atguigu@hadoop103 ~]$ start-yarn.sh
[atguigu@hadoop102 ~]$ mapred --daemon start historyserver

删除HDFS上已经存在的输出文件

[atguigu@hadoop102 ~]$ hadoop fs -rm -r /output

执行WordCount程序

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

查看历史服务器地址http://hadoop102:19888/jobhistory

集群启动/停止方式总结

各个模块分开启动/停止
整体启动/停止HDFS start-dfs.sh/stop-dfs.sh
整体启动/停止YARN start-yarn.sh/stop-yarn.sh

各个服务组件逐一启动/停止
启动/停止HDFS组件:hdfs --daemon start/stop namenode/datanode/secondarynamenode
启动/停止YARN组件:yarn --daemon start/stop resourcemanager/nodemanager

编写Hadoop集群常用脚本

cd /home/atguigu/bin
vim myhadoop.sh
#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

赋予脚本执行权限
[atguigu@hadoop102 bin]$ chmod +x myhadoop.sh

查看三台服务器Java进程脚本：jpsall

vim jpsall
#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

赋予脚本执行权限

[atguigu@hadoop102 bin]$ chmod +x myhadoop.sh
[atguigu@hadoop102 bin]$ chmod +x jpsall

分发

[atguigu@hadoop102 ~]$ xsync /home/atguigu/bin/

使用脚本

开启并查看

[atguigu@hadoop102 bin]$ myhadoop.sh start
 =================== 启动 hadoop集群 ===================
 --------------- 启动 hdfs ---------------
Starting namenodes on [hadoop102]
Starting datanodes
Starting secondary namenodes [hadoop104]
 --------------- 启动 yarn ---------------
Starting resourcemanager
Starting nodemanagers
 --------------- 启动 historyserver ---------------
[atguigu@hadoop102 bin]$ jps
47120 NodeManager
48899 Jps
46598 DataNode
46395 NameNode
47407 JobHistoryServer

[atguigu@hadoop102 bin]$ jpsall
=============== hadoop102 ===============
47120 NodeManager
46598 DataNode
51686 Jps
46395 NameNode
47407 JobHistoryServer
=============== hadoop103 ===============
51426 Jps
46249 DataNode
46795 NodeManager
46604 ResourceManager
=============== hadoop104 ===============
46386 SecondaryNameNode
46202 DataNode
46620 NodeManager
51069 Jps

关闭并查看

[atguigu@hadoop102 bin]$ myhadoop.sh stop
 =================== 关闭 hadoop集群 ===================
 --------------- 关闭 historyserver ---------------
 --------------- 关闭 yarn ---------------
Stopping nodemanagers
Stopping resourcemanager
 --------------- 关闭 hdfs ---------------
Stopping namenodes on [hadoop102]
Stopping datanodes
Stopping secondary namenodes [hadoop104]

[atguigu@hadoop102 bin]$ jpsall
=============== hadoop102 ===============
52818 Jps
=============== hadoop103 ===============
52358 Jps
=============== hadoop104 ===============
51851 Jps

常用端口号说明

端口名称	Hadoop2.x	Hadoop3.x
NameNode内部通信端口	8020 / 9000	8020 / 9000/9820
NameNode HTTP UI	50070	9870
MapReduce查看执行任务端口	8088	8088
历史服务器通信端口	19888	19888

集群时间同步

如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；
如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。