安装hadoop1.1.2

一、准备工作

     1. 在3台电脑中分别安装RHEL6。

     2. 每台电脑中都设置用户名hadoop,登录密码也设置为相同密码。

     3. 下载安装jdk1.7.0_21,解压到/usr/java目录,JAVA_HOME路径为/usr/java/jdk1.7.0_21。

     4. 分别设置3台电脑的hostname和IP:

         master:192.168.237.201

         slave1:192.168.237.202

         slave2:192.168.237.203

     5. 在3 台电脑中分别设置ssh无密码登录,确保3台电脑之间都可以直接通过ssh无密码登录。

     6. 从http://hadoop.apache.org/releases.html下载hadoop-1.1.2-bin.tar.gz。

二、安装

     1. 用hadoop登录系统,将下载的hadoop-1.1.2-bin.tar.gz解压到/usr/locall(需要用su进行操作,若解压到其他位置hadoo用户的home目录中,则不用这步)。

     2. 修改/usr/local/hadoop-1.1.2目录所有者为hadoop:

              chow -hR hadoop:hadoop /usr/local/hadoop-1.1.2

     3. 继续以root身份修改/etc/profile文件,在文件最后添加以下内容:   

         export JAVA_HOME=/usr/java/jdk1.7.0_21
         export HADOOP_INSTALL=/usr/local/hadoop-1.1.2         
         export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_INSTALL/bin

    4. 退出root,以hadoop进行操作。首先用以下命令设置配置参数

         source  /etc/profile

       即可设置好JAVA_HOME、PATH等。

    5. 修改位于/usr/local/hadoop-1.1.2/conf目录中的配置文件:

       (1)修改hadoop-env.sh的如下内容:

             export JAVA_HOME=/usr/java/jdk1.7.0_21

        (2)设置core-site.xml内容如下: 

            <configuration>
               <property>
                 <name>hadoop.tmp.dir</name>
                 <value>/usr/hadoop/tmp</value>
              </property>
              <property>
                 <name>fs.default.name</name>
                 <value>hdfs://master:9000</value>
              </property>
           </configuration>

      (3)设置hdfs-site.xml内容如下:

          <configuration>
           <property>
             <name>dfs.data.dir</name>
             <value>/usr/hadoop/data</value>
          </property>
          <property>
            <name>dfs.replication</name>
            <value>2</value>
          </property>
       </configuration>

       只有2台datanoe,所以上面的dfs.replication设置为2。数据目录dfs.data.dir设置到/usr/hadoop/data目录,因此需要用root创建/usr/hadoop这个目录,并将/usr/hadoop的所有者设置为hadoop:hadoop。

     (4)设置mapred-site.xml内容如下:

         <configuration>
           <property>
             <name>mapred.job.tracker</name>
             <value>master:9001</value>
           </property>
         </configuration>

     (5)设置masters文件内容如下:

             master

        这里设置的是SecondaryName的主机名或IP地址。

    (6)设置slaves文件内容如下:

          slave1

          slave2

        这里设置的是datanode节点主机。

    5. 在一台电脑中将以上配置设置完成以后,用root身份使用以下命令将文件复制到其他电脑中:

        scp  -r  /usr/local/hadoop-1.1.2  slave1:/usr/local

        scp  -r  /usr/local/hadoop-1.1.2  slave2:/usr/local

        scp  -r  /etc/profile   slave1:/etc

        scp  -r  /etc/profile   slave2:/etc

     6. 使用hadoop身份,用ssh登录到slave1和slave2电脑中。使用以下命令: 

           source  /etc/profile

       使配置生效。

     7. 用root身份修改slave1和slave2电脑中/usr/local/hadoop-1.1.2目录的所有者。

     至此,全部配置完毕。

三、启动和停止hadoop

     1.  启动hadoop

      (1)格式化HDFS文件系统
  在master主机上使用普通用户hadoop进行操作,格式化文件系统。(备注:只需一次,下次启动不再需要格式化)
           
          hadoop namenode -format
 

        (2)在master主机中,使用以下命令启动hadoop。

              start-all.sh

       由于设置了PATH,可以不用路径。这个命令文件位于/usr/local/hadoop-1.1.2/bin中。

     2. 在master主机中使用以下命令可停止hadoop。

            stop-all.sh

四、验证

     1. 方法一:

       hadoop启动成功(无错误提示)之后,可通过jps命令查看java进程。在master中应该有以下进程:

            SecondaryNameNode
            NameNode
            JobTracker

     在slave1和slave2主机中执行jps命令应该有以下进程:         

           DataNode

           TaskTracker

     2. 方法二:执行以下命令:

       hadoop   dfsadmin -report
 
   可以查看Hadoop集群的状态。
     3. 方法三:
       打开浏览器,输入以下网址,可看到namenode主页。
         http://master:50070/
     
        在浏览器中输入以下网址,可看到Map/Reduce主页
           http://master:50030/
 
posted @ 2013-05-13 22:40  spark woo  阅读(490)  评论(0编辑  收藏  举报