Hadoop集群搭建之基础环境配置
1.下载CentOS7
1.百度搜索centos-->2.点击centos官网连接-->3.点击DVD ISO-->4.点击http://ap.stykers.moe/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso连接进下载.
2.安装虚拟机管理软件
VMware Fusion配置Nat静态IP - zhishengqianjun的博客 - CSDN
安装完成虚拟机会在桌面上生成虚拟机快捷方式
3.创建虚拟机
3.1 启动虚拟机管理软件
安装完成虚拟机管理软件后，双击桌面的快捷方式
启动虚拟机管理软件,如下图:
如下图,点击文件-->点击新建虚拟机-->默认选择典型(推荐)(T)-->点击下一步
如下图，点击"稍后安装操作系统"-->点击下一步
如下图,选择Linux(L)-->选择CentOS7 64 位-->点击下一步
如下图，输入名称：BaseCentos7，选创建一个基本的虚拟机，后续的集群节点从此虚拟机上进行克隆而来
输入完虚拟机名称后，
1.点击浏览-->选择虚拟机位置-->选择这台电脑-->选择并展开本地磁盘C
2.在磁盘创建一下层级文件夹myprogram（虚拟机存放根目录）-->3nodesvm-->basecentos(虚拟机存放目录)
3.选择C:\myprogram\3nodesvm\basecentos目录作为BaseCentos7的存储目录
4.在C:\myprogram\3nodesvm\目录下一次创建node1,node2,node3用于存储后续分别三个节点的虚拟机磁盘文件。
5.选择完basecentos目录后点击下一步.
如下图,修改最大磁盘大小从默认的20G修改为200G（一次性修改的大一些，集群运行的过程中会产生大量文件，默认20G不够用）
如下图，点击完成，来完成虚拟机的创建，稍等两三秒会看到创建的虚拟机
创建的虚拟机如下图：
3.2 修改内存和CPU
如下图，点击内存-->选择内存-->在右侧输入2048调整虚拟机内存为2G
继上一步操作，输入完内存值后，选择CPU,选择处理器数量和内核数量均为2
如下图，点击确认.
如下图，设置为内存和cpu后如下。
3.3 选择Centos7的镜像文件
如下两张图:
1.点击CD/DVD
2.点击CD/DVD(IDE)
3.点击使用ISO镜像文件
4.点击浏览
5.选择刚开始下载的centos7系统的镜像文件
6.点击打开
7.点击确认,完成镜像文件的选择
如下图，点击确认
3.4 centos系统安装
如下图，点击开始此虚拟机
如果出现下图，点击我已完成安装
等待自动倒计时为0后自动开始系统安装....
1.点击安装Tools,2.点击Continue
如下图，点击DATE&TIME
如下图,选择时区，点击Done
如下图，点击INSTALLATION SOURCE
如下图，选择磁盘，点击Done
磁盘选择完成后，Begin installation会变成蓝色可用状态，点击Begin installation继续下一步
如下图，点击设置管理员root用户的密码为root和用户名一样,方便记忆.
等待安装进度完成，至此完美的开始已经成功了一半，耐心等待吧....
如下图安装完成，点击Reboot重新启动.
重启后如下图，显示localhost login :(冒号)后有个不停闪烁的白色短横杠，其中localhost表示当前主机名称,至此虚拟机安装完成.
输入用户名root,输入密码:root,此时只需要输入密码即可，但是界面上不显示,输入完成后回车，登录成功如下图:
登录成功后显示[root@localhost ~]#
输入init 0命令回车关闭centos linux系统，接下载对刚安装好的虚拟机做快照，以防止软件安装过程中出错可以使用快照还原到系统刚安装好的状态.
4.创建快照
如下如按照1-5的步骤提示操作创建快照，6,7,8方式查看创建的快照,后期操作的关键步骤建议大家创建快照.
4.环境配置
创建完快照后启动虚拟机,使用root用户和root密码登录系统.
4.1 停止防火墙
#停止防火墙
[root@localhost ~]#systemctl stop firewalld
#禁止防火墙随着系统启动而启动
[root@localhost ~]#systemctl disable firewalld
#查看防火墙状态
[root@localhost ~]#systemctl status firewalld
防火墙操作如下图：
4.2 禁用selinux
#将SELINUX的值设置为disabled
[root@localhost ~]# vi /etc/selinux/config
#查看是否设置完成
[root@localhost ~]# cat /etc/selinux/config
5.配置虚拟机网络
5.1 打开虚拟网络编辑器
5.2 设置虚拟网络和子网
如下图选择VMnet8,点击更改设置,点击是
在此选择VMnet8，子网IP输入192.168.200.0，子网掩码输入255.255.255.0
点击NAT设置,输入网关IP192.168.200.2(此ip地址必须是192.168.200.2，不能是192.168.200.1这个ip有特殊用途,知道即可)，点击确定
在此点击确定，完成虚拟网络的配置.
5.3 设置虚拟机网路
BaseCentos-->右键选择设置打开虚拟机设置
选择网络适配器-->选择自定义(U):特定虚拟网络-->确定,完成虚拟机网络设置.
5.4 配置虚拟机IP
[root@localhost ~]#vi /etc/sysconfig/network-scripts/ifcfg-ens33
在文件ifcfg-ens33的末尾新增，如下内容:
IPADDR=192.168.200.10
NETMASK=255.255.255.0
GATEWAY=192.168.200.2 #和在配置虚拟网路中的网关保持一致
DNS1=8.8.8.8
DNS2=144.144.144.144
配置完成后保存文件
#重新启动网卡
[root@localhost ~]#systemctl restart network
#ping 百度的官网保证虚拟机能够访问外网，方便后期在线安装一些依赖软件
[root@localhost ~]#ping www.baidu.com
6.安装xshell工具
使用这个工具可以很方便的操作linux，比如连接linux的命令行，通过xftp文件文件传输工具可以向linux中上传文件.一般我们已经给同学提供了如下的xhsell安装程序包.
6.1 xshell安装
如上图，双击Xshell4.exe进行安装
如果出现以下提示点击是，这是win8，win10等操作系统为了安全提供的一种提示机制。
开始安装
如下图点击next
如下图选择，点击next
如下图选择，点击next
如下图选择，点击next
如下图选择，点击next
如下图点击Install
点击Finsh完成安装.
6.2 xftp安装
如下图，双击Xftp4.exe进行安装
同样的如果出现下图，点击是
开始安装
如下图，点击next
如下图选择，点击next
如下图选择，点击next
如下图选择，点击next
如下图选择，点击next
如下图选择，点击next
6.3 xshell和xftp的使用
安装完xshell和xftp后再桌面上生成xshell和xftp的快捷方式.
双击Xshell4快捷键运行xshell
如下图，点击打开
按钮打开会话窗口（第二步），在会话窗口中点击新建-->打开新建会话窗口新建会话.
如下图，输入名称basecentos（为每个虚拟机的连接起相应的名字）和将要连接的虚拟机ip
如下图，点击用户身份验证，输入用户名(root)和密码(root),点击确定
确定后创建出如下的会话连接(basecentos),点击连接
如下图，第一次连接虚拟机时xshell需要保存连接用户的用户名和密码，下次登录时就可以不要在输入,方便后期登录。
如下图，我们已经成功登录到basecentos这个虚拟机的linux系统中.
至此我们已经完成了使用xshell连接linux，我们会发现字体太小，看着不舒服，接下来我们调整下字体,如下图:
如下图，点击外观，在右侧选择16号字体,点击确定,完成设置.
7.上传jdk
将已经下载好的jdk上传到我们已经安装好的linux系统中,默认我们使用root用户安装jdk。
这时我们就需要使用xftp上传jdk安装包
如下图，点击xftp按钮，打开xftp工具
xftp窗口如下:
在左侧选择linux环境下的jdk安装包,鼠标按住左键直接拖到右侧后放开鼠标，可以看到下面的上传进度.
如下图，上传完成.
上传完成后我们就可以关闭xftp窗口,回到xshell命令窗口。
在xshell命令窗口中输入ll命令然后回车,如下图，可以看到刚才上传的jdk安装文件.
8.安装JDK
至此我们已经通过xftp工具将jdk的安装包上传到linux的root用户工作目录下，接下来我们进行安装.
8.1 安装jdk
[root@localhost ~]# rpm -ivh jdk-8u211-linux-x64.rpm
如下图，显示jdk的安装过程
如下图，jdk安装完成
8.2 配置java环境变量
1.查找到jdk的安装目录
#首先使用find命令找到java的安装目录
[root@localhost ~]# find / -name java
/etc/alternatives/java
/etc/pki/ca-trust/extracted/java
/etc/pki/java
/var/lib/alternatives/java
/usr/bin/java
/usr/java
#java(jdk)的安装目录
/usr/java/jdk1.8.0_211-amd64/bin/java
/usr/java/jdk1.8.0_211-amd64/jre/bin/java
[root@localhost ~]#
2.配置环境变量
使用vi命令修改root家目录下的.bash_profile文件
[root@localhost ~]# vi .bash_profile
# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
# User specific environment and startup programs
#java环境变量
JAVA_HOME=/usr/java/jdk1.8.0_211-amd64
#java环境变量加入到path中
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
export JAVA_HOME
export PATH
~ #先按下键盘左上角的esc建 ，然后按住shift输入:(冒号),在输入wq!(强制保存)
:wq!
[root@localhost ~]# vi .bash_profile
#使用source命令使配置的环境变量生效
[root@localhost ~]# source .bash_profile
#使用java -version命令查看java环境变量配置是否成功
[root@localhost ~]# java -version
#显示java version "1.8.0_211" 表示java环境变量(JAVA_HOME)已经配置成功.
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)
[root@localhost ~]#
9.配置时间同步
后期搭建大数据集群内时需要个个节点之间的时间保持一样，所以我们搭建集群时需要进行节点和时间中心的时间同步。
9.1 安装时间同步软件
使用命令:yum install -y ntpdate 安装时间同步软件（yum是个linux下的一个在线软件安装工具，大家先简单使用下，我们后续课程中会讲解到）
[root@localhost ~]# yum install -y ntpdate
Loaded plugins: fastestmirror
Determining fastest mirrors
* base: mirrors.tuna.tsinghua.edu.cn
* extras: mirrors.tuna.tsinghua.edu.cn
* updates: mirrors.tuna.tsinghua.edu.cn
base | 3.6 kB 00:00:00
extras | 3.4 kB 00:00:00
.
.
.
Complete!
9.2 配置定时时间同步
#使用crontab -e命令添加定时时间同步配置
[root@localhost ~]# crontab -e
#执行crontab -e命令后，按键盘上的字母i进入编辑模式,输入一下内容，然后按一下键盘左上角的esc进行命令模式，按主shift输入:(冒号),在输入wq!回车完成保存.
#以下配置的意思是每分钟同步一次时间
*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;
~
:wq!
#等待一分钟左右使用date命令查看系统时间是否同步
[root@localhost ~]# date
Sun Jun 30 10:51:17 CST 2019
[root@localhost ~]#
10.安装网络工具net-tools
net-tools是linux系同下的一个网络故障排查工具,工作中我们经常使用它查看集群网络运行情况,在这里大家先简单安装即可，学习过程中老师断断续续会给大家讲解到.
[root@localhost ~]# yum install -y net-tools
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
* base: mirrors.tuna.tsinghua.edu.cn
* extras: mirrors.tuna.tsinghua.edu.cn
* updates: mirrors.tuna.tsinghua.edu.cn
Resolving Dependencies
--> Running transaction check
---> Package net-tools.x86_64 0:2.0-0.24.20131004git.el7 will be installed
--> Finished Dependency Resolution
Dependencies Resolved
================================================================================================
Package Arch Version Repository Size
================================================================================================
Installing:
net-tools x86_64 2.0-0.24.20131004git.el7 base 306 k
Transaction Summary
================================================================================================
Install 1 Package
Total download size: 306 k
Installed size: 918 k
Downloading packages:
net-tools-2.0-0.24.20131004git.el7.x86_64.rpm | 306 kB 00:00:00
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
Installing : net-tools-2.0-0.24.20131004git.el7.x86_64 1/1
Verifying : net-tools-2.0-0.24.20131004git.el7.x86_64 1/1
Installed:
net-tools.x86_64 0:2.0-0.24.20131004git.el7
Complete!
[root@localhost ~]#
11.克隆虚拟机
为了保证我们所有机器环境的配置是一致的,我们需要克隆虚拟机，同时我们只需要在一台虚拟机上安装好linux操作系统，克隆后的机器上也安装好了linux系统，这样节省了我们重复安装linux系统的时间,同时减少了我们多台主机系统之间配置不一致的错误.
至此我们需要搭建三台机器的集群，就需要三台机器。我们通过一台机器克隆出三台来。
11.1.关闭当前运行的虚拟机
克隆虚拟机时需要关闭当前运行的虚拟机.
[root@localhost ~]# init 0 #输入init 0 完成后回车
如下图,此时我们会发现xshell的连接basecentos会话已经关闭
11.2 克隆虚拟机
切换到我们的虚拟机管理软件VMware Workstation主界面，按照以下步骤继续一路猛操作.
1.如下图，在BaseCentos7
如下图，点击下一步
如下图，点击下一步
如下图，点击下一步
如下图，输入虚拟机名称，选择好第一台虚拟机存放路径C:\myprogram\3nodesvm\node1(如果路径不存在请安装这样的路径层级进行自行创建)
如下图，点击关闭，完成克隆
完成虚拟机的克隆操作,我们使用以上同样的方法再克隆出来两台虚拟机node2和node3，操作完成后如下图，我们可以发现三台虚拟机已经完全创建好.
