Windows11安装Hadoop3.3.2

Windows11安装Hadoop3.3.2

JDK 安装

Hadoop的Java版本https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions

>## Hadoop支持的 Java 版本
>
>- Apache Hadoop 3.3 及更高版本支持 Java 8 和 Java 11（仅限运行时）
>  - 请使用 Java 8 编译 Hadoop。不支持使用 Java 11 编译 Hadoop： [HADOOP-16795](https://issues.apache.org/jira/browse/HADOOP-16795)-Java 11 编译支持**OPEN** [![img](https://issues.apache.org/jira/secure/viewavatar?size=xsmall&avatarId=21140&avatarType=issuetype)](https://issues.apache.org/jira/browse/HADOOP-16795) 
>- 从 3.0.x 到 3.2.x 的 Apache Hadoop 现在仅支持 Java 8
>- 从 2.7.x 到 2.10.x 的 Apache Hadoop 支持 Java 7 和 8

所以安装jdk8来运行Hadoop

官网下载：https://www.oracle.com/java/technologies/downloads/#jre8-windows

选择Windows下的64位安装程序下载

运行安装程序即可，不需配置环境变量

 

Hadoop 安装

下载解压

阿里云开源镜像站下载：https://mirrors.aliyun.com/apache/hadoop/core/hadoop-3.3.2/

推荐使用下载Bandzip来解压

解压之后的目录

Windows环境变量配置

设置->系统->系统信息

点击高级系统设置，环境变量

 

在系统变量处新建

HADOOP_HOME

变量值为hadoop的解压目录

D:\SoftWare\hadoop-3.3.2

 

在系统变量的Path下新建两个变量

%HADOOP_HOME%\bin
%HADOOP_HOME%\sbin

hadoop文件配置

hadoop-env.cmd

在D:\SoftWare\hadoop-3.3.2\etc\hadoop目录下

右键编辑，Ctrl+F搜索JAVA_HOME找到set JAVA_HOME这一项，将其修改为jdk8的安装路径

set JAVA_HOME=C:\PROGRA~1\Java\jdk-8

使用PROGRA~1来代替Program Files，是其dos文件名模式下的缩写

直接使用Program Files会报错，里面包含一个空格

在命令行查看hadoop版本，没有报错说明配置成功

hadoop -version

输出信息：

PS C:\Users\Ran> hadoop -version Active code page: 65001 java version "1.8.0_333" Java(TM) SE Runtime Environment (build 1.8.0_333-b02) Java HotSpot(TM) 64-Bit Server VM (build 25.333-b02, mixed mode)

core-site.xml

<configuration>
    <property>
        <name>fs.default.name</name>
      <value>hdfs://localhost:9000</value>
     </property>
     <property>
      <name>hadoop.tmp.dir</name>
      <value>/D:/SoftWare/hadoop-3.3.2/data/tmp</value>
     </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/SoftWare/hadoop-3.3.2/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/SoftWare/hadoop-3.3.2/data/datanode</value>
    </property>
    <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
    </property>
</configuration>

mapred-site.xml

<configuration>
 <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>
</configuration>

下载 winutils.exe hadoop.dll

Github：https://github.com/cdarlint/winutils

找到对应的版本，下载winutils.exe hadoop.dll，放到hadoop的bin目录下

<img src="../AppData/Roaming/Typora/typora-user-images/image-20220608174808274.png" alt="image-20220608174808274" style="zoom: 50%;" />

<img src="../AppData/Roaming/Typora/typora-user-images/image-20220608180503994.png" alt="image-20220608180503994" style="zoom: 67%;" />

启动测试

进入命令行窗口，格式化hadoop

hadoop namenode -format

输出信息中提示有==namenode has been successfully formatted==即可

 

启动hadoop，在管理员权限的命令行中输入

start-all.cmd

然后启动四个进程的cmd，启动和报错信息会在里面显示

 

使用jps命令查看，如下即为正常启动

访问Web页面

http://localhost:9870/