hadoop运行环境搭建

模板虚拟机环境准备

系统安装#

配置硬件#

在vmware上使用centos7.5的镜像安装模板虚拟机，其中虚拟机名称为hadoop100，虚拟机ip设置为192.168.10.100，内存和硬盘按具体情况分配。

安装时可选择自定义安装，选择稍后安装操作系统，这样可以献给模板虚拟机配置资源，资源配置完成后，在选择相应的镜像安装系统。

在自定义创建虚拟机时，vmware提供了三种网络链接类型：桥接模式，NAT模式，仅主机模式。

具体区别请参考VMware中四种网络连接模式的区别。

注意：安装系统时需要打开电脑的虚拟化技术，可在bios中进行开启。可以在任务管理器中查看电脑是否开启虚拟化技术。

配置软件#

• 时间：当前系统时间，未联网时无法同步网络时间，安装完成网络连接成功后可以自行设置。

• 软件选择：在生产环境下，一般都会选择最小安装。学习阶段，可以选择GNOME桌面（图像化桌面）以方便学习。

• 安装位置：选择我要配置分区（手动分配分区），之后点击完成将进行手动分配。分配一个挂载点/boot，1g，文件系统选择ext4（系统启动时需要的资源）；分配一个挂载点swap，4g（在内存不够用时，将使用硬盘当作内存继续运行，速度会减慢）；分配一个挂载点根目录/ ，45g

  

• KDUNP：系统崩溃时，崩溃前夕将备份一部分数据。需要开辟一块内存来备份崩溃的数据。学习阶段为了节省资源可以关闭。

• 网络和主机名：打开以太网，如果显示被拔出需要去windows服务中开启VMware DHCP Service”和”VMware NAT Service“服务。

• 安全策略：保持默认的打开。

1. 设置完成之后根据提示重启，进入系统桌面即安装完成。

配置ip地址#

配置vmware的ip地址#

在vmware编辑处进入虚拟网络编辑器，配置VMnet8适配器的子网为192.168.10.0。

将NAT设置中，网关设置成192.168.10.2（网关一般都为2）。

配置windows下vmware相应的网络适配器的ip地址#

配置虚拟机linux的ip地址#

在root用户下配置ens33网络适配器的配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

配置文件为

YPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"           #这里的dhcp动态获取ip改为static静态获取ip
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="e24fd100-16d6-4705-b22c-51addb7b22e5"   #随机id
DEVICE="ens33"    #接口名（设备，网卡）
ONBOOT="yes"      #系统启动的时候网络接口是否有效（yes/no）
#添加静态ip地址
IPADDR=192.168.10.100
#添加网关
GATEWAY=192.168.10.2
#添加域名解析器
DNS1=192.168.10.2

修改主机名称

vim /etc/hostname

#将文件修改为
hadoop100

在hosts中添加主机名称映射

vim /etc/hosts

#在hosts中添加
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105

添加后重启，并检查是否设置成功

hostname    #检查主机名称
ifconfig    #检查ip地址
ping baidu.com    #检查网络是否连通

安装epel-release#

Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS 和 Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方repository是找不到的

yum install -y epel-release

最小系统安装插件#

如果Linux安装的是最小系统，还需要安装如下工具。如果安装时选择的是桌面标准版，则不需要安装。

安装net-tool：工具包含集合，包含ifconfig等指令

yum install -y net-tools

vim编辑器

yum install -y vim

关闭防火墙#

在企业开发时，通常单个服务器的防火墙是关闭的。公司整体对外会设置非常安全的防火墙。

systemctl stop firewalld
systemctl disable firewalld.service

配置个人用户root权限#

方便后期使用个人用户时可以在命令前加 sudo 执行root权限命令

vim /etc/sudoers

修改/etc/sudoers文件，在%wheel这行下面添加一行

## Allow root to run any commands anywhere 
root    ALL=(ALL)       ALL

## Allows people in group wheel to run all commands
%wheel  ALL=(ALL)       ALL

boqiang   ALL=(ALL)   NOPASSWDL:ALL

注意：boqiang这一行不能直接放到root行下面，因为所有用户都属于wheel组，你先配置了boqiang具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以boqiang要放到%wheel行下面。

创建集群所需文件夹#

1. 在/opt下创建module、software文件夹

mkdir /opt/software
mkdir /opt/module

2）修改文件夹权限所有者和所属组均为boqiang

chown boqiang:boqiang /opt/module
chown boqiang:boqiang /opt/software

卸载自带的JDK#

如果是最小化安装可以忽略此项

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

rpm -qa：查询所安装的所有rpm包。

grep -i：忽略大小小。

xargs -n1：表示每次只传递一个参数。

rpm -e --nodeps：强制卸载软件。

克隆三台模板虚拟机并配置环境#

克制三台虚拟机#

1. 直接右键虚拟机>管理>克隆

将克制的虚拟机命名为hadoop102，注意创建克隆时需要创建完整克隆，不能使用链接克隆。

2. 以此方法继续克隆hadoop103，hadoop104。

克隆虚拟机的环境配置#

配置ip地址#

修改三台虚拟机的网络适配器文件，参考配置虚拟机linux的ip地址

修改主机名称#

修改三台虚拟机的主机名称

vim /etc/hostname

全部配置完成之后reboot，并检查#

在hadoop102安装jdk#

• 将jdk文件拷贝到/opt/software
• 解压，将jdk解压到/opt/module

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module

在hadoop102安装hadoop#

• 将hadoop文件拷贝到/opt/software
• 解压，将hadoop解压到/opt/module

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module

配置环境变量#

• 以前可以在/etc/profile文件上直接声明环境变量
• 现在可以在/etc/profile.d目录下创建声明环境变量的文件，系统启动时就会加载这个目录里面的文件让其生效
• 我们在此目录下创建自己的环境变量文件

sudo vim  /etc/profile.d/my_env.sh

• my_env.sh

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

• 配置完成后使用source使配置生效

source /etc/profile

从hadoop102向其他虚拟机传递jdk和hadoop#

使用scp命令将jdk从hadoop102传递给hadoop103

scp -r jdk1.8.0_212/ boqiang@hadoop103:/opt/module/

使用scp命令将hadoop从hadoop103拉取hadoop102的hadoop

scp -r boqiang@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/

在hadoop103中使用scp命令将jdk从hadoop102拷贝给hadoop104

scp -r boqiang@hadoop102:/opt/module/jdk1.8.0_212/ boqiang@hadoop104:/opt/module/

**关于 rsync **

主要用于备份和镜像。具有速度快、避免重复复制相同内容和支持符号链接的有点。第一次使用时等同于scp，因为rsync只对差异文件做更新，而scp是将所有文件都复制过去。

rsync -av $pdir/$fname   $user@host:$pdir/$fname

# -a 表示归档拷贝
# -v 表示显示复制过程

完全分布式运行模式准备#

集群分发脚本#

1. 需求: 循环复制文件到所有节点的相同目录下

2. 期望分析:

   a. rsync 命令原始拷贝

 rsync -av /opt/module boqiang@hadoop103:/opt/

b. 期望脚本:

xsync 要同步的文件名称

c. 期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

[boqiang@hadoop102 ~]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/boqiang/.local/bin:/home/boqiang/bin:/opt/module/jdk1.8.0_212/bin

1. 脚本实现

   a. 在/home/boqiang/bin 目录下创建 xsync 文件

[boqiang@hadoop102 opt]$ cd /home/boqiang
[boqiang@hadoop102 ~]$ mkdir bin
[boqiang@hadoop102 ~]$ cd bin
[boqiang@hadoop102 bin]$ vim xsync

在文件中编写如下代码

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
 then
 #5. 获取父目录
 pdir=$(cd -P $(dirname $file); pwd)
 #6. 获取当前文件的名称
 fname=$(basename $file)
 ssh $host "mkdir -p $pdir"
 rsync -av $pdir/$fname $host:$pdir
 else
 echo $file does not exists!
 fi
 done

b. 修改脚本 xsync 具有执行权限

[boqiang@hadoop102 bin]$ chmod +x xsync

c. 测试脚本

[boqiang@hadoop102 ~]$ xsync /home/atguigu/bin

d. 将脚本复制到/bin 中，以便全局调用

[boqiang@hadoop102 bin]$ sudo cp xsync /bin/

e. 同步环境变量配置（root 所有者）

[boqiang@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

注意：如果用了 sudo，那么 xsync 一定要给它的路径补全。

让环境变量生效

[boqiang@hadoop103 bin]$ source /etc/profile
[boqiang@hadoop104 opt]$ source /etc/profile

ssh免密登录#

1. 免密登录原理

   

   注意: 免密登录是单向的, 这里A访问B无需密钥, 但是B访问A仍需要密钥.

2. 生成公钥和私钥

[boqiang@hadoop102 ~]$ ls -al
[boqiang@hadoop102 ~]$ cd .ssh/
[boqiang@hadoop102 ~]$ pwd
/home/boqiang/.ssh

#生成公钥和私钥
[boqiang@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）

1. 将公钥拷贝到要免密登录的目标机器上

#ssh访问自己也需要密码,所以需要对自己也配置免密登录
[boqiang@hadoop102 .ssh]$ ssh-copy-id hadoop102
[boqiang@hadoop102 .ssh]$ ssh-copy-id hadoop103
[boqiang@hadoop102 .ssh]$ ssh-copy-id hadoop104

注意：所配置的免密登录只对单个用户满足, 如果只配置了boqiang用户,那么root用户不能够免密登录.
还需要在 hadoop103 上采用 boqiang 账号配置一下无密登录到 hadoop102、hadoop103、hadoop104 服务器上。
还需要在 hadoop104 上采用 boqiang 账号配置一下无密登录到 hadoop102、hadoop103、hadoop104 服务器上。
还需要在 hadoop102 上采用 root 账号，配置一下无密登录到 hadoop102、hadoop103、hadoop104；

集群配置#

1. 集群部署规划

   1. NameNode 和 SecondaryNameNode 不要安装在同一台服务器。
   2. ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在同一台机器上。

   

2. 配置文件说明

   Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

   1. 默认配置文件：

要获取的默认文件	文件存放在 Hadoop 的 jar 包中的位置
[core-default.xml]	hadoop-common-3.1.3.jar/core-default.xml
[hdfs-default.xml]	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
[yarn-default.xml]	hadoop-yarn-common-3.1.3.jar/yarn-default.xml
[mapred-default.xml]	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

2) 自定义配置文件：

**core-site.xml** 、**hdfs-site.xml** **、** **yarn-site.xml**、**mapred-site.xml** 四个配置文件存放在$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

1. 配置集群

   1）核心配置文件

   配置 core-site.xml

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim core-site.xml

内容如下

<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

<!-- 指定 NameNode 的地址 -->

<property>


<name>fs.defaultFS</name> <value>hdfs://hadoop102:8020</value>

</property>


<!-- 指定 hadoop 数据的存储目录 -->

<property>


<name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-3.1.3/data</value>

</property>


<!-- 配置 HDFS 网页登录使用的静态用户为 atguigu --> <property>


<name>hadoop.http.staticuser.user</name> <value>atguigu</value>

</property>

</configuration>

2）hdfs配置文件

配置 hdfs-site.xml

[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml

配置文件如下

<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


<configuration>

<!-- nn web 端访问地址-->

<property>


<name>dfs.namenode.http-address</name> <value>hadoop102:9870</value>

</property>

<!-- 2nn web 端访问地址-->

<property>


<name>dfs.namenode.secondary.http-address</name> <value>hadoop104:9868</value>

</property>

</configuration>

3）YARN配置文件

配置 yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

<!-- 指定 MR 走 shuffle -->
<property>


<name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>

</property>


<!-- 指定 ResourceManager 的地址-->
<property>


<name>yarn.resourcemanager.hostname</name> <value>hadoop103</value>

</property>


<!-- 环境变量的继承 -->
<property>

<name>yarn.nodemanager.env-whitelist</name>


<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP RED_HOME</value>

</property>

</configuration>

4）MapReduce 配置文件

配置 mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


<configuration>


<!-- 指定 MapReduce 程序运行在 Yarn 上 --> <property>


<name>mapreduce.framework.name</name> <value>yarn</value>

</property>

</configuration>

1. 在集群上分发配置好的Hadoop配置文件

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

1. 查看分发情况

[atguigu@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
[atguigu@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml