Hadoop集群模式的搭建之一:虚拟机集群的搭建
因为工作中项目上需要用到大数据的技术,之前一直在自学Hadoop,也看了很多博客和视频课程,现在想把学习过程中遇到的困难和不明确的地方记录下来,加深记忆。入门大数据首先就要从Hadoop环境的搭建开始,因为是自己的机器,所以搭建一个完全分布式的集群环境条件有限,就先从搭建虚拟机集群环境开始。
集群节点规划如下:
序号 | 主机名 | IP地址 |
---|---|---|
1 | master | 192.168.75.151 |
2 | slave1 | 192.168.75.152 |
3 | slave2 | 192.168.75.153 |
1. 安装虚拟机软件
第一步 先在本机安装vmvare workstation Pro16 这一步具体步骤我就忽略不写了
2. 安装master节点虚拟机
这一步在已经安装好虚拟机软件的基础上,创建一个CentosOS7操作系统的虚拟机出来,虚拟机的名称设置为master,虚拟机内存和磁盘容量都按照默认的,具体在虚拟机中安装Centos7的操作步骤这里也忽略了
3.配置master节点的网络
创建的master节点虚拟机虽然可以正常使用,但是虚拟机的ip地址是动态生成的,在不断的开/停过程中很容易改变,不利于实际应用,因此需要对该节点的网络环境进行配置。
3.1 查看网络配置信息
选择"编辑"->"虚拟机网络编辑器"->"VMnet8"模式,如图
对话框的下面会显示子网IP地址,这里设置为"192.168.75.0",后面的配置会依据这个IP进行调整
3.2 设置节点ip地址
执行修改IP地址命令,
vi /etc/sysconfig/network-scripts/ifcfg-ens33
进入配置文件后,修改内容,修改IPADDR为"192.168.75.151",GATEWAY修改为"192.168.75.2",BOOTPROTO修改为"static",ONBOOT修改为"yes",如下图
保存配置文件后,执行service network restart
命令重启网络
3.3 克隆slave节点
3.3.1 克隆slave1节点
将master节点关机,右击master节点,在弹出的快捷菜单中选择"管理"->"克隆"命令,选中"虚拟机中的当前状态",单击"下一页"选中"创建完整克隆",单击"下一页",将虚拟机名称改为"slave1",选择虚拟机存放位置后,单击"完成"按钮。结果如下图
3.3.2 修改slave1节点的IP地址
登录slave1节点,执行修改IP地址命令vi /etc/sysconfig/network-scripts/ifcfg-ens33
,进入配置文件后,由于在master节点上已经配置了必须的内容,因此只需在这里将IPADDR修改为"192.168.171.52"。保存配置文件后,执行命令service network restart
重启网络。
3.3.3 克隆slave2节点
参考克隆slave1节点的步骤,克隆slave2节点
3.3.4 修改slave2节点的IP地址
参考设置slave1节点设置IP地址的方法设置slave2节点的IP地址,将IP地址设置为192.168.171.53