Hadoop安装：单机布署

对于Hadoop的布署方式来说，分为单机布署、伪分布署式布署和分布式布署三种方式。其中属单机布署最为简单。大致分为三个步骤：

1、下载Hadoop压缩包，并解压；

2、修改环境变量；

3、测试是否安装成功。

下面就这三个步骤进行详细介绍。

 

步骤详解：

0、前置条件，操作系统上已正确安装JAVA，并配置好环境变量JAVA_HOME。如果这个步骤不清楚，可点击这里；

1、下载Hadoop压缩包（点击进入下载地址）【如果要其它的Hadoop历史版本，可点击这里】

当前下载了hadoop-2.10.2，并在电服上新建/hadoop目录。在这里路径下对压缩包进行解压：

tar -zxvf hadoop-2.10.2.tar.gz

解压完成后，可得到hadoop-2.10.2目录。

 2、配置环境变量HADOOP_HOME

vi /etc/profile

在文件末尾添加

export HADOOP_HOME=/hadoop/hadoop-2.10.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改成功后，重新加载环境变量

source /ect/profile

3、测试是否安装成功

hadoop version

如果能看到hadoop的版本号，说明hadoop已安装并配置成功。

 

备注：

1、如果前期没有配置的JAVA_HOME环境变量，则安装后需要到$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件中将JAVA_HOME变量修改成JAVA的安装目录。

 2、安装后，如果发现hadoop根目录所属权限有误，需要进行修改。

chown -R root:root hadoop-2.10.2

 3、在$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.2.jar下封装了一些例子，可以先试用一下。

在/hadoop目录下创建input和output两个目录

mkdir /hadoop/input
mkdir /hadoop/output

复制配置文件到input目录中

cp /hadoop/hadoop-2.10.2/etc/hadoop/*.xml /hadoop/input

进入mapreduce目录

cd /hadoop/hadoop-2.10.2/share/hadoop/mapreduce

 1) 词频统计wordcount

hadoop jar hadoop-mapreduce-examples-2.10.2.jar wordcount /hadoop/input/ /hadoop/output/00

 注意：输出路径不能存在，hadoop会自动创建。运行成功后到/hadoop/output/00目录下可以看到两个文件：

 第一个表示数据，可以用cat命令查看；第二个表示执行成功。

2) 圆周率pi

hadoop jar hadoop-mapreduce-examples-2.10.2.jar pi 10 10

 第一个表示执行10次map任务，第二个表示投掷次数。

 

后记（补充）：

1、如果想让hadoop在windows上运行：

将hadoop解压在windows上，并将winutils里的bin覆盖掉windows上hadoop的bin目录即可（版本要对应）。并附上版本3.1.3的下载地址

https://github.com/s911415/apache-hadoop-3.1.3-winutils

https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

2、如果JAVA_HOME有空格的解决办法：使用Windows的软连接

在Windows的命令终端（cmd）中，使用命令：
创建软连接：mklink /J E:\myRJ\java "C:\Program Files\Java\jdk1.8.0_60"
增加java_home软连：set JAVA_HOME="E:\myRJ\java"

 

到这里，hadoop单机版本的布署已经完成，我们可以开始hadoopr的学习之旅啦：）