Linux环境Hadoop单机模式安装详解

单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

一、JDK安装与配置

      详情请见：http://www.cnblogs.com/zhangwenjing/p/3580726.html

二、Hadoop安装与配置

     1、Hadoop下载与安装

     　　地址：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.3.0/hadoop-2.3.0.tar.gz

 　　　 使用wget命令下载：wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.3.0/hadoop-2.3.0.tar.gz

　　     解压缩：tar -zxvf hadoop-2.3.0-src.tar.gz

 　　　 重命名：mv hadoop-2.3.0-src hadoop

 　 2、Hadoop配置

 　　　Hadoop配置在hadoop/etc/hadoop下，由于默认为单机模式，所以可以不做修改。现据实际情况作如下修改：

         hadoop-env.sh

         export JAVA_HOME=/usr/local/java/jdk1.7.0_51（JDK安装目录）

         修改内存大小：export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"

     3、实例运行

         切换到安装目录，建立要上传到hadoop的两个文件 test1.txt、test2.txt

         mkdir input

         cd input

         echo "hello world" > test1.txt

         echo "hello hadoop" > test2.txt

         运行hadoop自带的wordcount实例可以统计一批文本文件中单词出现的次数

         bin/hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar wordcount input output

         查看结果：

         cat output/*