Hadoop集群安装

一、Hadoop单节点部署

1、首先在服务器上安装centos系统，将系统的ip配置为静态ip，方便hadoop集群中主机绑定

　　

 

2、Hadoop是java服务，需要借助JVM运行

　　本地下载jdk安装包，在linux系统中通过rz命令上传jdk到自定义文件夹/usr/local/apps/下，解压jdk，并且将jdk配置到linux的环境变量中。在命令行键入java -version测试jdk是否安装成功。

3、Hadoop安装

　　在本地下载Hadoop安装包，上传到自定义文件夹/usr/local/apps/下，进行解压，将hadoop的安装路径也配置到环境变量中。然后修改hadoop中的配置文件。主要有/usr/local/apps/hadoop-2.8.1/etc/hadoop中的以下几个文件需要修改：

　　a、vi core-site.xml

　　　　

　　b、vi hdfs-site.xml

　　　　

　　c、首先使用mv mapred-site.xml.template mapred-site.xml将文件.template后缀去掉，然后编辑文件

　　　　

　　d、vi yarn-site.xml

　　　　

4、将centos主机名和地址在linux系统文件中进行映射。vi /etc/hosts

　　

　　注：为了后续的集群将centos-01和centos-02两个主机名顺带配置进去

5、hadoop单节点配置完成，下来启动hadoop

　　（1）格式化namenode节点

　　　　在hadoop的bin目录下，使用命令./hadoop naenode -format进行格式化

　　（2）手动启动hdfs服务

　　　　启动namenode进程： sbin/hadoop-daemon.sh start namenode

　　　　启动datanode进程：sbin/hadoop-daemon.sh start datanode

　　　　　　

　　（3）手动启动yarn服务

　　　　启动resourcemanager服务： sbin/yarn-daemon.sh start sourcemanager

　　　　启动nodemanager服务：sbin/yarn-daemon.sh start nodemanager

　　　　　　

　　（4）使用hadoop中的自动化脚本进行服务的启动

　　　　sbin/start-dfs.sh

　　　　sbin/start-yarn.sh

6、配置ssh的免密登录

　　在登录放生成密钥对，使用命令： ssh-keygen

　　将公钥拷贝到目标主机上，使用命令： ssh-copy-id 主机名

7、要想实现hadoop节点可以在外部进行访问，关闭防火墙

　　service iptables stop

二、Hadoop的多节点安装和部署

1、在服务器上新建两个主机，centos-01和centos-02，安装好jdk（同一中）

2、将centos中的配置好的hadoop文件复制到centos-01和centos-02目录中，使用命令: scp 文件 目标主机:文件路径

3、在主节点中修改文件/hadoop-2.8.1/etc/hadoop/slaves文件，将从节点的主机名添加进去:

　　

4、在主节点中使用命令start-all.sh启动所有的服务，检查从节点是否也启动

　　

　　

　　

5、至此三个节点的简单hadoop集群已经创建完毕