单机安装hadoop集群

一 、安装前准备

1.VMware虚拟内容

2.Linux系统 (CentOS-6.9-min)

镜像文件http://vault.centos.org/

3.jdk 1.8 rpm或bin文件

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

4.hadoop 安装文件 rpm或bin文件

https://hadoop.apache.org/releases.html

5.SecureCRT 本人喜欢用这个

6.规划好ip段

cmd 查看自己的ip; 192.168.50.3起

192.168.50.11 master

192.168.50.12 slave1/node1

192.168.50.13 slave2/node2

192.168.50.14 slave3/node3

二 、安装

  1. 安装虚拟软件...略;VMware 软件有三种网络设置,本文使用的是NAT方式,主要是它对ip设置比较容易不会对外物理机造成干扰.

  2. 安装完软件开始安装centOS

一路Next过来,到

 

 

我选的是自定义方式,这个主要是类似windows 分盘,我这是简单的分成三个:一个根目录,一个启动,一个swap

 

接着一直Next到底重启就安装结束;关机拍个快照方便后面使用的时候又来一次安装省时省力.

3.开始配置网络和其他节点虚拟机,此时就用到上面规划的ip

主节点名称安装的时候就已经设置好了所以不用再改,直接配置网络ip

vi /etc/sysconfig/network-scripts/ifcfg-eth0

ip设置好后就配置网络映射关系

vi /etc/hosts

映射关系配置文件,避免mac地址的冲突

rm –rf /etc/udev/rules.d/70-persistent-net.rules

关闭防火墙 service iptables stop或chkconfig iptables off 重启网卡 service network restart

到此主节点的网络已经配置完成,可以测试一下网络是否通了,是否发现局域网已经可以了,但外网不行如果要配置外网只需把dns2本地物理ip设置为物理机的网关就行,网络好了就可以SecureCRT 连接了.

开始安装jdk 和 hadoop (这个地方你可以关闭机器拍个快照后面在安装使用scp命令拷贝到其他节点)

安装目录一定的记住,虽然后面可以用命令查看到安装目录不过文件保存的太深麻烦;

我自己安装的都放在apps下,根目录下新建 apps目录后 Alt+P 打开SFTP界面 拖拽jdk和hadoop文件上传

文件上传完,可以使用tar命令去解压安装了 (安装完顺手删除gz文件)

tar -zxvf jdk-8u181-linux-x64.tar.gz -C apps/

tar -zxvf hadoop-3.1.1.tar.gz -C apps/

接下来配置jdk环境变量了 vi /etc/profile

export JAVA_HOME=/root/apps/jdk1.8.0_181

export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

export PATH=$JAVA_HOME/bin:$PATH

保存后 source /etc/profile 刷新;使用java -verison 看看是否配置成功

hadoop 的后面在配置 主机配置到处结束,可以直接关机快照后配置节点

 

三 、节点配置

1.节点配置相对第一次简单很多了,使用vm软件的克隆快速备份出节点,备份好记得开机前重新生成mac地址避免冲突

配置节点名称 hostname slave1 如果还不行执行 # sysctl kernel.hostname=slave1 强制修改

然后 vi /etc/sysconfig/network

2.ip地址配置

vi /etc/sysconfig/network-scripts/ifcfg-eth0

这里是和host文件一一对应 如slave1 是192.168.50.12

3.重启网卡 service network restart

4.测试是否可以和其他机器通信 ping 192.168.50.11

到处节点1配置完成。。其他节点参照步骤就行了,虚拟机已经部署就位。

posted @ 2018-09-13 15:42  继续敷衍、空白的日子  阅读(464)  评论(0编辑  收藏  举报