hadoop-3.1.2分布式搭建

一、准备工作

三台虚拟机：

master、node1、node2

时间同步
关闭防火墙：

systemctl stop firewalld

查看防火墙状态：

systemctl status firewalld

取消防火墙自启：

systemctl disable firewalld

修改主机名

三台分别执行 vim /etc/hostname 并将内容指定为对应的主机
名

静态IP配置

vim /etc/sysconfig/network-scripts/ifcfg-ens33

关闭NetworkManager，并取消开机自启

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

免密登录

1、生成密钥
ssh-keygen -t rsa
2、配置免密登录
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2
3、测试免密登录
ssh node1

配置好映射文件：

vim /etc/hosts
192.168.6.101 master
192.168.6.102 node1
192.168.6.103 node2

配置jdk

java -version

二、hadoop-3.1.1分布式搭建

1、上传解压配置环境变量

解压

tar -zxvf hadoop-3.1.2.tar.gz

配置环境变量

vim /etc/profile

使环境变量生效

source /etc/profile

2、修改配置文件

1、进入hadoop配置文件所在位置，修改hadoop配置文件

cd /usr/local/soft/hadoop-3.1.2/etc/hadoop

2、修改core-site.xml配置文件,在configuration中间增加配置

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/soft/hadoop-3.1.2/tmp</value>
</property>
<property>
  <name>fs.trash.interval</name>
  <value>1440</value>
</property>
</configuration>

3、修改hdfs-site.xml配置文件，在configuration中间增加配置

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>
</configuration>

4、修改yarn-site.xml配置文件，在configuration中间增加配置

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>master</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

5、修改mapred-site.xml配置文件，在configuration中间增加配置

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>

    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
</configuration>

6、修改hadoop-env.sh配置文件

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root