Hadoop 2.6.0 完全分布式平台搭建

一、准备软件环境：

    hadoop-2.6.0.tar.gz

    CentOS release 6.5

     jdk-7u67-linux-x64.tar.gz

     网络配置：

     master1            192.168.11.24

    worker1             192.168.11.25

二、操作步骤：

1. 修改主机名

2. 配置ssh无密码登录节点

3. 安装jdk, hadoop

4. 配置分布式环境

    slaves

    core-site.xml

    hdfs-site.xml

   mapred-site.xml 【mapred-site.xml.template】

   yarn-site.xml

5.  在master上启动Hadoop

    bin/hdfs namenode -format 

    sbin/start-dfs.sh 

    sbin/start-yarn.sh 

通过jps查看各个节点所启动的进程，首先查看master：master节点启动了NameNode、SecondaryNameNode、ResourceManager进程。

接着查看slave1：启动了DataNode和NodeManager进程。

 

遇到的问题及处理方法：【master节点jps时没有namenode】

 重新format一下namenode 

6. 关闭Hadoop集群也是在master节点上执行：

 sbin/stop-dfs.sh

 sbin/stop-yarn.sh