hadoop-2.6.0.tar.gz的集群搭建（3节点）（不含zookeeper集群安装）

 转http://www.cnblogs.com/zlslch/p/5851166.html

机器规划：

　　192.168.0.161  ----------------  master

　　192.168.0.162   ----------------  slave1

　　192.168.0.163   ----------------  slave2

第一步：搭建一个3节点的hadoop分布式小集群--预备工作（master、slave1、slave2的网络连接、ip地址静态、拍照、远程）

1、修改192.168.0.161主机名

[root@centos65-template ~]# vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=master

：wq

保存

重启生效

2、修改主机映射

[root@centos65-template ~]# vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.0.161 master
192.168.0.162 slave1
192.168.0.163 slave2

：wq

3、关闭防火墙

[root@master ~]# service iptables stop

[root@master ~]# chkconfig iptables off

4、slave1 slave2机器参见master操作

第二步：搭建一个3节点的hadoop分布式小集群--预备工作（master、slave1、slave2的用户规划、目录规划）

 

1 用户规划

　　依次，对master、slave1、slave2进行用户规划，hadoop用户组，hadoop用户。

　　先新建用户组，再来新建用户 。

[root@master ~]# groupadd hadoop
[root@master ~]# useradd -g hadoop hadoop （一般推荐用 useradd -g -m  hadoop hadoop ）
[root@master ~]# passwd hadoop
[root@master ~]# cd /home/
[root@master home]# ls -al
[root@master home]# su hadoop
[hadoop@master home]$ cd
[hadoop@master ~]$ pwd
[hadoop@master ~]$ ls
[hadoop@master ~]$

用户密码：hadoop

2目录规划

 第四步：搭建一个3节点的hadoop分布式小集群--预备工作（master、slave1、slave2的SSH免密码通信的配置）

SSH免密码通信的配置

1、每台机器的各自本身的无密码访问

master

[root@master Asia]# su hadoop
[hadoop@master Asia]$ cd
[hadoop@master ~]$ cd .ssh
[hadoop@master ~]$ mkdir .ssh
[hadoop@master ~]$ ssh-keygen -t rsa
 (/home/hadoop/.ssh/id_rsa): (Enter键)
Enter passphrase (empty for no passphrase): (Enter键)
Enter same passphrase again: (Enter键)

[hadoop@master .ssh]$ cat id_rsa.pub >> authorized_keys

安装SSH-client

[root@master Packages]# yum install -y openssh-clients-5.3p1-94.el6.x86_64.rpm

[hadoop@master .ssh]$ scp authorized_keys hadoop@slave1:~/.ssh/

目的机器也需要安装openssh-clients才能使用scp命令

①在master上将公钥放到authorized_keys里。命令：

 cat id_rsa.pub >> authorized_keys

 ②将master上的authorized_keys放到其他linux的root/.ssh目录下。

       命令： scp authorized_keys hadoop@slave2:~/.ssh 

[hadoop@slave2 .ssh]$ cat id_rsa.pub |ssh hadoop@master 'cat >> ~/.ssh/authorized_keys'

如有问题可参见ssh 免密码设置失败原因总结