Hadoop集群搭建(一)(上篇中讲到了Linux虚拟机的安装)
一、安装所需插件(以hadoop2.6.4为例,如果需要可以到官方网站进行下载:http://hadoop.apache.org)
hadoop2.6.4插件、已经装好的虚拟机(CentOS,这个百度一下自行安装)、虚拟机安装后将其克隆成三个即可。
二、安装过程
1、配置服务器
1个主节点:sunshine(192.168.83.133),2个(从)子节点:sunshineMin(192.168.83.134),
sunshineMax(192.168.83.135)。
在linux命令下进入到/etc/sysconfig/network-scripts/ifcfg-eth0路径下配置本机静态IP,和ifconfig命令下的IP等配置一样。(三台虚拟机的静态IP配置一样,设置静态IP是为了防止突然断网等情况的出现导致IP出现变动,从而对集群有影响)
2、配置主节点名(192.168.83.133)
vi /etc/sysconfig/network
添加内容:
NETWORKING=yes
HOSTNAME=sunshine(自己的主机名,可以自己设置)
3、配置两台子节点名(192.168.83.134)和(192.168.83.135)
vi /etc/sysconfig/network
添加内容:
NETWORKING=yes
HOSTNAME=sunshineMin(自己的主机名,可以自己设置)
vi /etc/sysconfig/network
添加内容:
NETWORKING=yes
HOSTNAME=sunshineMax(自己的主机名,可以自己设置)
4、配置hosts
打开主节点的hosts文件,要将文件的前两行注释掉 (注释当前主机的信息)并在文件中添加所有hadoop集群的主机信息。
vi /etc/hosts
192.168.83.133 sunshine
192.168.83.134 sunshineMin
192.168.83.135 sunshineMax
保存之后,将主节点的hosts分别拷贝到其他两个子节点
scp /etc/hosts root@192.168.83.134:/etc/
scp /etc/hosts root@192.168.83.135:/etc/
然后分别执行(重启服务器也可以不执行下面的语句): /bin/hostname hostname
例如:master上执行/bin/hostname master,使之生效。
接下来的Hadoop集群安装中配置ssh无密码访问,jdk的安装以及Hadoop的安装与配置请看Hadoop集群搭建(二)!