智健blog

虚拟机搭建hadoop集群

准备工具:虚拟机 linux-centos xftp xshell JDK(linux版本) hadoop安装包

实验内容:

在虚拟机中搭建hadoop集群,首先理解hadoop集群,hadoop集群是多台主机通过内网连接起来,然后上传hadoop安装包,取其中一节点为中心节点,中心节点含有namenode,namenode包含各个datanode的信息。

 

实验过程:

新建虚拟机,将下载好的centos7安装到虚拟机当中,关闭防火墙,设置内网ip,网络号为192.168.170,通过xftp上传hadoop的运行环境-JDK。

然后克隆虚拟机,三台主机用192.168.170的网络号分别分配不同的主机号,各主机通过内网形成集群,修改主机名分别为centos1 centos2 centos3。修改hosts文件形成域名与ip的映射关系(例如192.168.170.133 centos1),这样可以通过ping主机名可以ping通。

Hadoop分布式搭建,通过xftp上传hadoop安装包到modules目录,配置hadoop运行的环境变量为JDK,然后修改配置文件设置centos1为中心节点,将配置好的hadoop安装目录拷贝到其他主机。

初始化namenode,启动hadoop。

通过命令jps,查看hadoop各节点的进程,也可访问192.168.170.133:50070查看各节点信息。

 

完成情况:

hadoop已启动,可查看各节点信息

#QQ 2541809243

posted @ 2019-05-03 10:38  智健  阅读(696)  评论(0编辑  收藏  举报