Windows单机安装hadoop

版本信息

• Hadoop 3.2.0
• java version "1.8.0_201"
• Windows 7专业版，64位

安装过程

jdk安装

下载jdk，解压到目录，D:\Java\jdk1.8.0_201

环境变量设置

JAVA_HOME=D:\Java\jdk1.8.0_201
Path增加：%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
CLASSPATH=.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar

注意：java安装路径中不要存在空格，否则后续hadoop启动时可能会出现问题，具体参考以下博客：
Windows环境下执行hadoop命令出现Error: JAVA_HOME is incorrectly set

hadoop安装

下载hadoop，解压到目录，D:\BigData\hadoop\hadoop-3.2.0

环境变量设置

HADOOP_HOME=D:\BigData\hadoop\hadoop-3.2.0
Path增加：%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;

下载hadoop的windows版本二进制文件

下载地址：
目前提供了最高3.0.0版本的二进制文件
3.1.0版本的二进制文件

本文使用的是hadoop3.2.0版本，用的是3.1.0的二进制文件，也能正常运行，但如果用的是3.0.0版本的二进制文件，启动yarn时会报错。下载完成后，用整个bin目录，替换本地hadoop3.2.0中的bin目录

修改配置文件（位于目录，D:\BigData\hadoop\hadoop-3.2.0\etc\hadoop）

hadoop-env.cmd

文件后面增加以下配置

set HADOOP_PREFIX=%HADOOP_HOME%
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin
set HADOOP_COMMON_HOME=%HADOOP_HOME%
set HADOOP_HDFS_HOME=%HADOOP_HOME%
set HADOOP_MAPRED_HOME=%HADOOP_HOME%
set HADOOP_YARN_HOME=%HADOOP_HOME%

hdfs-site.xml

dfs.replication
1


dfs.name.dir

/D:/BigData/hadoop/workspace/hdfs/name


dfs.data.dir

/D:/BigData/hadoop/workspace/hdfs/data

mapred-site.xml

mapreduce.framework.name
yarn

yarn-site.xml

yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler


yarn.application.classpath
%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/,%HADOOP_YARN_HOME%/share/hadoop/yarn/,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/

core-site.xml

fs.default.name
hdfs://localhost:9000



fs.defaultFS
hdfs://localhost:9000



hadoop.tmp.dir
/D:/BigData/hadoop/workspace/tmp

解决yarn启动报错：通过报错发现缺少TimelineCollectorManager这个类

参考博客:hadoop安装配置之ResourceManger启动失败

将jar包，D:\BigData\hadoop\hadoop-3.2.0\share\hadoop\yarn\timelineservice\hadoop-yarn-server-timelineservice-3.2.0.jar，拷贝到D:\BigData\hadoop\hadoop-3.2.0\share\hadoop\yarn\lib目录下面

启动hadoop

格式化namenode（第一次启动前执行，只执行一次）：hdfs namenode -format
启动hdfs：start-dfs.cmd
启动yarn：start-yarn.cmd
jps查看以下进程是否存在：NameNode、DataNode、ResourceManager、NodeManager
浏览器访问： http://localhost:9870/ 、 http://localhost:8088/cluster