一、服务器基础环境准备，三台物理机
       1、主机映射、时间同步      
       将三台host主机之间映射，修改hosts文件vim /etc/hosts
      IP   ----- 主机名 ---- 长主机
        

       scp /etc/hosts root@node2:/etc/  root@node3:/etc/复制给其他机器

　　# 集群时间同步
　　ntpdate ntp5.aliyun.com

　　# 防火墙关闭
　　firewall-cmd --state #查看防火墙状态
　　systemctl stop firewalld.service #停止firewalld服务
　　systemctl disable firewalld.service #开机禁用firewalld服务

     

　　# 机器之间免密登录

　　# ssh免密登录（只需要配置node1至node1、node2、node3即可）

　　#node1生成公钥私钥 (一路回车)
　　ssh-keygen

　　#node1配置免密登录到node1 node2 node3
　　ssh-copy-id node1
　　ssh-copy-id node2
　　ssh-copy-id node3

 

二、Hadoop安装部署

  　集群规划

主机角色
node1 NN DN RM NM
node2 SNN DN NM
node3 DN NM

      上传Hadoop安装包到node1 /export/server（文件按个人需求）

      解压：tar zxvf hadoop-3.3.0-Centos7-64-with-s nappy.tar.gz

　   修改配置文件(配置文件路径 hadoop-3.3.0/etc/hadoop)hadoop-env.sh

       添加配置：

　　#文件最后添加
　　export JAVA_HOME=/export/server/jdk1.8.0_241

　　export HDFS_NAMENODE_USER=root
　　export HDFS_DATANODE_USER=root
　　export HDFS_SECONDARYNAMENODE_USER=root
　　export YARN_RESOURCEMANAGER_USER=root
　　export YARN_NODEMANAGER_USER=root

　　依次修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、workers配置

 　　分发给其他节点同步hadoop安装包

　　cd /export/server

　　scp -r hadoop-3.3.0 root@node2:$PWD
　　scp -r hadoop-3.3.0 root@node3:$PWD

　　将hadoop添加到环境变量（3台机器）

　　　

　　vim /etc/profile

　　export HADOOP_HOME=/export/server/hadoop-3.3.0
　　export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

　　source /etc/profile // 刷新系统配置

       scp给其他节点

三、Hadoop集群启动

　　（==首次启动==）格式化namenode

　　hdfs namenode -format

　　脚本一键启动：

　　start-dfs.sh//启动dfs文件系统

       start-yarn.sh//启动yarn资源调度器

　　可通过以下两个地址，访问该节点