搭建完全分布式Hadoop

实验目的：使用三台虚拟机搭建完全分布式Hadoop
配置：CPU：i5-8300H,显卡:1050ti,内存:16GB2666mhz,硬盘为纯固态
软件：VM虚拟机,winscp，CentOS-7.5-x86_64-DVD-1804镜像，xshell

安装虚拟机

使用Vmware虚拟机-新建虚拟机-使用自定义安装-稍后安装，硬盘分配20GB，右击新建的虚拟机-设置-DVD/CD-选择centos的镜像，网络设置为net连接模式，开启虚拟机进行安装，选择最小安装，swap设置4GB

设置网络

修改网络配置

vi /etc/sysconfig/network-scripts/ifcfg-ens33

以下为修改后的文件

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static" //修改为静态Ip
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="68770e99-de66-4c16-b2ae-850bdfee6f5a"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.121.101 //添加设置本机IP
GATEWAY=192.168.121.2 //添加设置网关IP
DNS1=192.168.121.2 //添加设置DNS1的IP

注意这里IP的前三位要与VM虚拟网络编辑器的子网地址前三位保持一致

修改hostname

登录虚拟机

vi /etc/hostname
设置为chenhao101
wq保存并退出

修改hosts

修改centos的host

vi /etc/hosts

注意这里的IP需要与实际相对应

192.168.121.101 chenhao101
192.168.121.102 chenhao102
192.168.121.103 chenhao103

修改Windows的host

修改C:\Windows\System32\drivers\etc\host
注意这里的文件就叫host，没有尾缀，保存失败提示需要用管理员启动时可以先另存为然后覆盖文件（当然最简单的方式是用管理员权限运行编辑器）
在host末尾添加以下几行

192.168.121.101 chenhao101
192.168.121.102 chenhao102
192.168.121.103 chenhao103

这里相当于建立一个映射,输入chenhao101电脑会自动识别为192.168.121.101

远程连接虚拟机并准备一些环境

xshell连接虚拟机，因为修改过Windows的host，ip这里只需要输入chenhao101即可，winscp同理,顺手安装一个vim

yum install -y epel-release
yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

关闭防火墙,关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld

创建ch用户,并修改chenhao用户的密码

useradd ch
passwd ch

配置ch用户具有root权限,方便后期加sudo执行root权限的命令

vim /etc/sudoers

## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
ch   ALL=(ALL)     NOPASSWD:ALL

安装jdk和Hadoop

安装jdk

卸载现有JDK

rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

使用winscp将JDK放置到/opt/module目录下,然后使用命令解压

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

新建/etc/profile.d/my_env.sh

sudo vim /etc/profile.d/my_env.sh

添加以下内容(这里我提前把Hadoop环境变量一起配置了)

#声明JAVA_HOME环境变量
JAVA_HOME=/opt/module/jdk1.8.0_212
#配置PATH环境变量 
PATH=$PATH:$JAVA_HOME/bin
#提升JAVA_HOME和PATH为系统环境变量
export JAVA_HOME PATH

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

export PATH=$PATH:/home/ch/bin

让新的环境变量PATH生效

source /etc/profile

测试一下是否配置成功

java -version
javac -version

安装Hadoop

将Hadoop文件解压至/opt/module/
测试Hadoop是否正常

Hadoop version

配置Hadoop

cd /opt/module/hadoop-3.1.3/etc/hadoop

修改core-site.xml (配置hadoop的全局信息)

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://chenhao101:9820</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
</property>

<!-- 配置HDFS网页登录使用的静态用户为ch-->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>ch</value>
</property>

<!-- 配置该ch(superUser)允许通过代理访问的主机节点(暂时可以先不配) -->
    <property>
        <name>hadoop.proxyuser.ch.hosts</name>
        <value>*</value>
</property>
<!-- 配置该ch(superUser)允许通过代理用户所属组(暂时可以先不配) -->
    <property>
        <name>hadoop.proxyuser.ch.groups</name>
        <value>*</value>
</property>
<!-- 配置该ch(superUser)允许通过代理的用户(暂时可以先不配)-->
    <property>
        <name>hadoop.proxyuser.ch.groups</name>
        <value>*</value>
</property>

</configuration>

修改hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>chenhao101:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>chenhao103:9868</value>
    </property>

    <!-- NameNode 存放的位置 -->
　　<property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/module/hadoop-3.1.3/data/dfs/name</value>
    </property>
　　<!-- DataNode 存放的位置 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/module/hadoop-3.1.3/data/dfs/data</value>
    </property>
</configuration>

修改mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MR走shuffle(MR是一个MapReduce程序,这个程序将来会运行在yarn上) shuffle洗牌是MR运行过程中一个极其复杂的流程 讲MapReduce框架原理的时候会讲到-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>chenhao102</value>
</property>
<!-- 环境变量的继承(yarn工作的时候需要知道JAVA_HOME等环境变量) -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!-- yarn容器允许分配的最大最小内存(可选配置) -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
</property>
<!-- yarn容器允许管理的物理内存大小(可选配置) -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
</property>
<!-- 关闭yarn对物理内存和虚拟内存的限制检查(可选配置) -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

修改workers

这里提前修改为了后面的集群启动/停止，省的使用分发脚本

chenhao101
chenhao102
chenhao103

克隆虚拟机

关闭chenhao101-右击虚拟机-克隆-完整克隆
将这个操作执行两次获得chenhao102和chenhao103
修改hostname，hosts中的本机ip
如果修改完重启后

ip a

出现mtu 1500 qdisc noop state DOWN group default qlen 1000
使用以下三个命令重启网卡

systemctl stop NetworkManager
systemctl disable NetworkManager
service network restart

SSH免密登录

生成公钥和私钥

ssh-keygen -t rsa

一直回车，生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)

将公钥拷贝到要免密登录的目标机器上

ssh-copy-id chenhao101
ssh-copy-id chenhao102
ssh-copy-id chenhao103

需要在chenhao101上采用ch账号配置一下无密登录到chenhao101、chenhao102、chenhao103

需要在chenhao102上采用ch账号配置一下无密登录到chenhao101、chenhao102、chenhao103

需要在chenhao103上采用ch账号配置一下无密登录到chenhao101、chenhao102、chenhao103

需要在chenhao101上采用root账号,配置一下无密登录到chenhao101、chenhao102、chenhao103

xsync集群分发脚本

在/bin目录下

vim xsync

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器 依次分发内容
for host in chenhao102 chenhao103
do
  echo ====================  $host  ====================
  #3. 遍历所有目录,挨个发送
  for file in $@
  do
    #4. 判断当前文件是否存在
    if [ -e $file ]
    then
      #5. 当前目录存在 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
#7. 登录目标机器,创建统一的目录结构
      ssh $host "mkdir -p $pdir"
#8. 依次对要分发的文件或目录进行分发
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

单点 启动/停止 集群

启动HDFS集群

注意首次启动HDFS需要对NameNode进行格式化操作在chenhao101执行：

hdfs namenode -format

chenhao101启动namenode

hdfs --daemon start namenode

chenhao101 chenhao102 chenhao103分别启动datanode

hdfs --daemon start datanode

chenhao103启动secondarynamenode

hdfs --daemon start secondarynamenode

启动YARN集群

chenhao102启动resourcemanager

yarn --daemon start resourcemanager

chenhao101 chenhao102 chenhao103分别启动nodemanager

yarn --daemon start nodemanager

检验

全部启动后在每一台虚拟机里输入命令

jps

得到的应该都是这样的

1985 DataNode
2082 NodeManager
3335 Jps
1885 NameNode

停止HDFS集群

chenhao101停止namenode

hdfs --daemon stop namenode

chenhao101 chenhao102 cehnhao103 分别停止 datanode

hdfs --daemon stop datanode

chenhao103 停止secondarynamenode

hdfs --daemon stop secondarynamenode

停止YARN集群

chenhao102停止resourcemanager

yarn --daemon stop resourcemanager

chenhao101 chenhao102 chenhao103分别停止nodemanager

yarn --daemon stop nodemanager

脚本集启集停

#!/bin/bash

#参数校验
if [ $# -lt 1 ]
then
	echo "参数不能为空！！！"
	exit
fi

#根据参数的值进行 启停 操作
case $1 in
"start")
    #启动操作
    echo "===============start HDFS集群================="
    ssh chenhao101 /opt/module/hadoop-3.1.3/sbin/start-dfs.sh
    echo "===============start YARN集群================="
    ssh chenhao102 /opt/module/hadoop-3.1.3/sbin/start-yarn.sh
			 
;;

"stop")
    #停止操作
    echo "===============stop HDFS集群================="
    ssh chenhao101 /opt/module/hadoop-3.1.3/sbin/stop-dfs.sh
    echo "===============stop YARN集群================="
    ssh chenhao102 /opt/module/hadoop-3.1.3/sbin/stop-yarn.sh
;; 

*)
    echo "ERROR!!!!"
;;
esac

如果集群是第一次启动,需要在chenhao101节点格式化NameNode(注意格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据.如果集群在运行过程中报错,需要重新格式化NameNode的话,一定要先停止namenode和datanode进程,并且要删除所有机器的data和logs目录,然后再进行格式化)