centos7安装hadoop2.2.0集群-环境准备

虽然接触hadoop已经有一段时间，但是一直没有做记录，趁熟悉做一下笔记，也好在以后的工作中能够参考一下。

首先简单介绍一下Hadoop，Hadoop是一个开源的分布式计算平台，以HDFS、MapReduce为核心。

一个Hadoop集群由一个NameNode和若干个DataNode组成，其中NameNode负责管理文件系统的命名空间及客户端对文件系统的访问，DataNode管理存储的数据。

MapReduce是由一个运行在主节点的JobTracker及运行在集群每个从节点的TaskTracker组成的。

一、安装hadoop之前，首先准备几个节点，我的环境是两台机器，每台机器装了一个vmware，在vmware里又装了centos7系统，一个主节点、一个从节点：

hadoop-master 192.168.1.105

hadoop-slave 192.168.1.104

二、配置机器名称：

查看当前主机名称：输入hostname命令

修改主机名称：vi /etc/sysconfig/network，修改HOSTNAME变量值，然后保存即可

三、设置静态IP:

vi /etc/sysconfig/network-scripts/ifcfg-eth0，修改内容如下：

BOOTPROTO=static

ONBOOT=yes(系统启动的时候网络接口是否有效)

IPADDR=192.168.1.105
NETMASK=255.255.255.0(子网掩码)
GATEWAY=192.168.1.1(网关)
DNS1=192.168.1.1(DNS服务器，连接网络)

四、设置hosts：

vi /etc/hosts，添加如下内容：

192.168.1.105 hadoop-master
192.168.1.104 hadoop-slave

五、重启网络：

service network restart

六、配置SSH无密码登录：

由于hadoop启动后，namenode是通过SSH来启动和停止datanode上的守护进程的，所以namenode需要SSH无密码登录并启动datanode进程，同理，datanode也需要无密码登录到namenode节点。

首先可先查看ssh是否已经安装：

rpm –qa | grep openssh

rpm –qa | grep rsync

使用rpm安装：

yum install ssh 安装SSH协议

yum install rsync （rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）

service sshd restart 启动服务

(1)首先设置master到slave的无密码登录：

ssh-keygen –t rsa –P ''(一路回车)

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

service sshd restart重启服务

scp ~/.ssh/id_rsa.pub root@192.168.1.104:~/将id_rsa.pub文件拷贝到slave节点

在slave节点上执行以下操作：

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

删除id_rsa.pub文件

以上完成master到slave的无密码登录，可使用ssh hadoop-slave测试

slave节点到主节点的无密码链接操作与上述方法一样，再反过来操作一遍。

 

以上6部操作完成了安装hadoop集群钱的环境准备，下面会继续介绍软件的安装。