4.Hadoop Muti Node Cluster安装

合集 - Python+Spark+hadoop 机器学习与大数据技术实战(10)

1.0.Python+Spark+Hadoop 机器学习与大数据技术2024-03-262.1.VirtualBox虚拟机软件的安装2024-03-263.2. Ubuntu Linux 操作系统安装2024-03-264.3.Hadoop Single Node Cluster安装2024-03-27

5.4.Hadoop Muti Node Cluster安装2024-03-28

6.5.Hadoop HDFS 命令2024-03-287.6.Hadoop MapReduce2024-03-288.7.Python Spark安装2024-03-289.8 在IPython Notebook 运行Python Spark 程序2024-03-2910.9.RDD基本操作2024-03-25

收起

4.1把Single Node Cluster 复制到 data1

选择重新生成MAC地址

 4.2设置VirtualBox网卡

点击设置>>网络。

网卡1为“NAT”网卡，虚拟机可以通过Host主机连接到外部网络。

 网卡2用于建立内部网络，内部网络可连接虚拟主机（master，data1，data2)与Host主机。

 4.3设置data1服务器

启动虚拟机编辑网络配置文件设置固定IP。

sudo gedit /etc/netplan/01-network-manager-all.yaml

# Let NetworkManager manage all devices on this system
network:
  version: 2
  renderer: NetworkManager
  ethernets:
    enp0s8:
      dhcp4: false
      addresses: [192.168.56.101/24]
      routes:
       - to: default
         via: 192.168.56.0
      nameservers:
        addresses: [223.5.5.5, 223.6.6.6]

下载网络工具：sudo apt install net-tools

sudo gedit /etc/hostname

sudo gedit /etc/hosts

 

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

 

sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml

 

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

 

 

4.4复制data1服务器到data2,master

复制data1命名为data2, master， 并重新初始化MAC网址(和data1复制过程相同)。

 4.5设置data2服务器

启动data2虚拟机，设置data2固定IP地址

编辑网络配置文件

sudo gedit /etc/netplan/01-network-manager-all.yaml

 编辑hostname文件

sudo gedit /etc/hostname

 重启虚拟机，查看网络设置，hostname改为data2，ip已经改为192.168.56.102

 4.6设置master服务器

启动master虚拟机，设置master固定IP地址

编辑网络配置文件

sudo gedit /etc/netplan/01-network-manager-all.yaml

 

编辑hostname文件

sudo gedit /etc/hostname

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

 

sudo gedit /usr/local/hadoop/etc/hadoop/masters

hadoop3.0以后slaves更名为workers

sudo gedit /usr/local/hadoop/etc/hadoop/workers

 

 重启虚拟机，查看网络设置，hostname改为master，ip已经改为192.168.56.100

 4.8 master连接到data1，data2    创建HDFS目录

启动data1，data2，master。

命令行输入ssh data1， 出现问题输入yes

输入：

sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs

mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode

sudo chown -R hduser:hduser /usr/local/hadoop

ssh data2， 同上。

 4.9创建并格式化NameNode HDFS目录

hadoop namenode -format

 4.10 启动Hadoop Multi Node Cluster

start-all.sh

4.11打开Hadoop ResourceManager Web界面

http://master:8088/

 

点击nodes

4.12打开NameNode Web界面

 https://master:9870/

 点击Datanodes

 stop-all.sh停止集群。