2024/7/13
hadoop100 虚拟机配置要求如下
（1）使用 yum 安装需要虚拟机可以正常上网，yum 安装前可以先测试下虚拟机联网情况
[root@hadoop100 ~]# ping www.baidu.com
1
（2）安装epel-release
[root@hadoop100 ~]# yum install -y epel-release
1
（3）注意：如果Linux 安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作
net-tool：工具包集合，包含ifconfig 等命令
vim：编辑器
[root@hadoop100 ~]# yum install -y net-tools
[root@hadoop100 ~]# yum install -y vim
1
2
2.1.2 关闭防火墙，关闭防火墙开机自启
[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
1
2
2.1.3 创建普通用户，并修改普通用户的密码
[root@hadoop100 ~]# useradd Tom
[root@hadoop100 ~]# passwd Tom
1
2
2.1.4 配置普通用户具有 root 权限，方便后期加sudo 执行 root 权限的命令
[root@hadoop100 ~]# vim /etc/sudoers
1
修改/etc/sudoers 文件，在%wheel 这行下面添加一行，如下所示：
注意：Tom这一行不要直接放到 root行下面，因为所有用户都属于 wheel组，你先配置了Tom具有免密功能，但是程序执行到 %wheel行时， 该功能又被覆盖回需要密码 。所以Tom要放到 %wheel这行下面。
2.1.5 在 /opt目录下创建文件夹 ，并修改所属用户和所属组
2.1.6 卸载虚拟机自带的 JDK
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
1
rpm -qa：查询所安装的所有rpm软件包
grep -i：忽略大小写
xargs -n1：表示每次只传递一个参数
rpm -e --nodeps：强制卸载软件
注意：注意：如果你的虚拟机是最小化安装不需要执行这一步。
2.1.7 重启虚拟机
[root@hadoop100 ~]# reboot
1
2.2 克隆虚拟机
2.2.1 利用模板机 hadoop100，克隆 三台虚拟机 hadoop102 hadoop103 hadoop104
注意：克隆时，要先关闭 hadoop100
2.2.2 修改克隆机 IP，以 hadoop102 举例说明
（1）修改克隆虚拟机的静态 IP：
[Tom@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
1
（2）查看 Linux虚拟机的虚拟网络编辑器，编辑 ->虚拟网络编辑器 ->VMnet8
（3）查看 Windows系统适配器 VMware Network Adapter VMnet8的 IP地址
（4）保证 Linux系统 ifcfg-ens33文件中 IP地址、虚拟网络编辑器地址和 Windows系统 VMnet8网络 IP地址相同。
2.2.3 修改克隆机主机名 ，以 hadoop102举例说明
（1）修改主机名称
[root@hadoop100 ~]# vim /etc/hostname
1
（2）配置 Linux克隆机主机名称映射 hosts文件 打开 /etc/hosts
[root@hadoop100 ~]# vim /etc/hosts
1
2.2.4 重启克隆机 hadoop102
[root@hadoop100 ~]# reboot
1
2.2.5 修改 windows的主机映射文件(hosts文件)
进入C:\Windows\System32\drivers\etc路径，打开 hosts文件并添加如下内容 ，然后保存。
2.3 在 hadoop102 安装 JDK
（1）卸载现有 JDK
注意：安装 JDK前，一定确保提前删除了虚拟机自带的 JDK。
（2）用 XShell传输工具将 JDK导入到 opt目录下面的 software文件夹下面
（3）在 Linux系统下的 opt目录中查看软件包是否导入成功
[Tom@hadoop102 ~]$ ls /opt/software/
jdk-8u212-linux-x64.tar.gz
1
2
（4）解压 JDK到 /opt/module目录下
[Tom@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
1
（5）配置 JDK环境变量
[Tom@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh
1
source一下 /etc/profile文件 ，让新的环境变量 PATH生效
[Tom@hadoop102 software]$ source /etc/profile
1
测试JDK是否安装成功
[Tom@hadoop102 software]$ java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)
[Tom@hadoop102 software]$
1
2
3
4
5
2.4 在 hadoop102 安装 Hadoop
（1）用 XShell文件传输 工具将 hadoop-3.1.3.tar.gz导入到 opt目录下面的 software文件夹下面
（2）解压安装文件到 /opt/module下面
[Tom@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
1
（3）查看是否解压成功
[Tom@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3 jdk1.8.0_212
1
2
（4）将 Hadoop添加到环境变量
[Tom@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh
1
让修改后的文件生效
[Tom@hadoop102 software]$ source /etc/profile
1
（5）测试是否安装成功
[Tom@hadoop102 software]$ hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar
[Tom@hadoop102 software]$
1
2
3
4
5
6
7
8
（6）重启 如果 Hadoop命令不能用再重启虚拟机
[Tom@hadoop102 hadoop-3.1.3]$ sudo reboot
1
2.5 Hadoop 目录结构
查看 Hadoop目录结构
[Tom@hadoop102 hadoop-3.1.3]$ ll
总用量 184
-rw-rw-r--. 1 Tom Tom 25 5月 28 16:49 a.txt
drwxr-xr-x. 2 Tom Tom 183 9月 12 2019 bin
drwxrwxr-x. 4 Tom Tom 37 5月 29 10:54 data
drwxr-xr-x. 3 Tom Tom 20 9月 12 2019 etc
drwxrwxr-x. 3 Tom Tom 18 5月 29 10:53 hdfsdata
drwxr-xr-x. 2 Tom Tom 106 9月 12 2019 include
drwxr-xr-x. 3 Tom Tom 20 9月 12 2019 lib
drwxr-xr-x. 4 Tom Tom 288 9月 12 2019 libexec
-rw-rw-r--. 1 Tom Tom 147145 9月 4 2019 LICENSE.txt
drwxrwxr-x. 3 Tom Tom 4096 5月 29 15:36 logs
-rw-rw-r--. 1 Tom Tom 21867 9月 4 2019 NOTICE.txt
-rw-rw-r--. 1 Tom Tom 1366 9月 4 2019 README.txt
drwxr-xr-x. 3 Tom Tom 4096 9月 12 2019 sbin
drwxr-xr-x. 4 Tom Tom 31 9月 12 2019 share
drwxrwxr-x. 2 Tom Tom 22 5月 6 22:23 wcinput
[Tom@hadoop102 hadoop-3.1.3]$
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
重要目录
（1） bin目录：存放对 Hadoop相关服务（ hdfs yarn mapred）进行操作的脚本
（2）etc目录： Hadoop的配置文件目录，存放 Hadoop的配置文件
（3） lib目录：存放 Hadoop的本地库（对数据进行压缩解压缩功能）
（4） sbin目录：存放启动或停止 Hadoop相关服务的脚本
（5） share目录：存放 Hadoop的依赖 jar包 、文档和官方案例
3 Hadoop 运行模式
Hadoop官方网站： http://hadoop.apache.org/
Hadoop运行模 式包括：本地模式 、伪分布式模式以及完全分布式模式
本地模式：单机运行，只是用来演示一下官方案例。 生产环境不用。
伪分布式模式： 也是单机运行，但是具备 Hadoop集群的所有功能。一台服务器模拟一个分布式的环境 。个别缺钱的公司用来测试，生产环境不用。
完全分布式模式： 多台服务器组成分布式环境。 生产环境使用。
完全分布式模式搭建步骤：
（1）准备 3台客户机（ 关闭防火墙、静态 IP、主机名称）
（2）安装 JDK
（3）配置环境变量
（4）安装 Hadoop
（5）配置环境变量
（6）配置集群
（7）单点启动
（8）配置ssh
（9）群起并测试集群
————————————————
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
原文链接：https://blog.csdn.net/huxili2020/article/details/117809913
