SPARK安装一：Windows下VirtualBox安装CentOS

一、虚拟机安装

重点是网络设置，参见：https://www.linuxidc.com/Linux/2018-04/151924.htm

本文用三台2核4g虚拟机做集群，虚拟机安装centos7，如下

192.168.56.10 pangu10
192.168.56.11 pangu11
192.168.56.12 pangu12

说明：pangu是盘古的意思，随便取的一个好记的名字

二、网卡配置

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=enp0s3
UUID=6adc2574-e95f-4346-8fbe-24638b971c90
DEVICE=enp0s3
ONBOOT=yes
IPADDR=192.168.56.11

三、设置域名

1.配置hostname

vi /etc/hostname
pangu10

2.这里也要设置

vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=pangu10

3.配置hosts

vi /etc/hosts

192.168.56.10 pangu10
192.168.56.11 pangu11
192.168.56.12 pangu12

4.关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service

5.禁用SELINUX
vi /etc/sysconfig/selinux

SELINUX=enforcing
SELINUX=disabled

6.上数步骤做完完需要机器重启

 

四、集群机器建互相免密登录

1.生成sshkey

ssh-keygen -t rsa

一路确认完成后执行如下操作

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

systemctl restart sshd

2.三台机器互相复制形如

ssh-copy-id -f -i ~/.ssh/id_rsa.pub root@pangu11
ssh-copy-id -f -i ~/.ssh/id_rsa.pub root@pangu12
ssh-copy-id -f -i ~/.ssh/id_rsa.pub root@pangu10

3.设置RSA认证

vi /etc/ssh/sshd_config

RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

入职rsa设置到其他机器上

for a in {11..12} ; do scp /etc/ssh/sshd_config root@pangu$a:/etc/ssh/sshd_config ; done

 

五 、VirtualBox命令行控制

VBOX可视化操作打开虚拟机的虚拟机要始终打开UI界面，关闭UI界面虚拟机就停止了

可以使用命令行打开无UI的虚拟机，需要把vbox的安装目录添加到PATH环境变量里，我本机的目录是C:\Program Files\Oracle\VirtualBox

VBOX命令行常用操作

编号	功能	命令	说明
1	查看虚拟机+有几台	VBoxManage list vms
2	查看虚拟机+正在运行中的	VBoxManage list runningvms
3	启动虚拟机+图形	VBoxManage startvm "pangu10"
4	启动虚拟机+图形+使用VRDP方式	VBoxManage startvm pangu10 -type vrdp
5	启动虚拟机+无图形	VBoxManage startvm "pangu10" -type headless
6	关闭虚拟机	VBoxManage controlvm pangu10 poweroff	VBoxManage controlvm可选参数： pause resume reset poweroff savestate acpipowerbutton acpisleepbutton）

根据上面的命令行整理的脚本
1.虚拟机启动命令

start VBoxManage startvm "pangu10" -type headless
start VBoxManage startvm "pangu11" -type headless
start VBoxManage startvm "pangu12" -type headless

 

2.虚拟机关闭命令

vboxmanage controlvm pangu10 poweroff
vboxmanage controlvm pangu11 poweroff
vboxmanage controlvm pangu12 poweroff