Hadoop集群模式的搭建之一:虚拟机集群的搭建

因为工作中项目上需要用到大数据的技术,之前一直在自学Hadoop,也看了很多博客和视频课程,现在想把学习过程中遇到的困难和不明确的地方记录下来,加深记忆。入门大数据首先就要从Hadoop环境的搭建开始,因为是自己的机器,所以搭建一个完全分布式的集群环境条件有限,就先从搭建虚拟机集群环境开始。

集群节点规划如下:

序号 主机名 IP地址
1 master 192.168.75.151
2 slave1 192.168.75.152
3 slave2 192.168.75.153

1. 安装虚拟机软件

第一步 先在本机安装vmvare workstation Pro16 这一步具体步骤我就忽略不写了

2. 安装master节点虚拟机

这一步在已经安装好虚拟机软件的基础上,创建一个CentosOS7操作系统的虚拟机出来,虚拟机的名称设置为master,虚拟机内存和磁盘容量都按照默认的,具体在虚拟机中安装Centos7的操作步骤这里也忽略了

3.配置master节点的网络

创建的master节点虚拟机虽然可以正常使用,但是虚拟机的ip地址是动态生成的,在不断的开/停过程中很容易改变,不利于实际应用,因此需要对该节点的网络环境进行配置。

3.1 查看网络配置信息

选择"编辑"->"虚拟机网络编辑器"->"VMnet8"模式,如图

对话框的下面会显示子网IP地址,这里设置为"192.168.75.0",后面的配置会依据这个IP进行调整

3.2 设置节点ip地址

执行修改IP地址命令,
vi /etc/sysconfig/network-scripts/ifcfg-ens33
进入配置文件后,修改内容,修改IPADDR为"192.168.75.151",GATEWAY修改为"192.168.75.2",BOOTPROTO修改为"static",ONBOOT修改为"yes",如下图

保存配置文件后,执行service network restart命令重启网络

3.3 克隆slave节点

3.3.1 克隆slave1节点

将master节点关机,右击master节点,在弹出的快捷菜单中选择"管理"->"克隆"命令,选中"虚拟机中的当前状态",单击"下一页"选中"创建完整克隆",单击"下一页",将虚拟机名称改为"slave1",选择虚拟机存放位置后,单击"完成"按钮。结果如下图

3.3.2 修改slave1节点的IP地址

登录slave1节点,执行修改IP地址命令vi /etc/sysconfig/network-scripts/ifcfg-ens33,进入配置文件后,由于在master节点上已经配置了必须的内容,因此只需在这里将IPADDR修改为"192.168.171.52"。保存配置文件后,执行命令service network restart重启网络。

3.3.3 克隆slave2节点

参考克隆slave1节点的步骤,克隆slave2节点

3.3.4 修改slave2节点的IP地址

参考设置slave1节点设置IP地址的方法设置slave2节点的IP地址,将IP地址设置为192.168.171.53

posted @ 2024-04-21 17:29  Net_Fly  阅读(33)  评论(0编辑  收藏  举报