Windows下Hadoop配置和namenode搭建

1.压缩包下载

这里我是从Apache官网下载的 hadoop 压缩包：hadoop2.7.5 （下载地址：https://hadoop.apache.org/releases.html）

直接下载压缩包解压放到你的硬盘中即可（注意：不要放到有空格和中文的目录下）

 参考上图即可。

2.配置Hadoop

（1）在我的电脑中配置 Hadoop 的环境变量：

　　在系统变量中配置 HADOOP_HOME

　　在 Path 中配置下 bin 的位置，在末尾新建一行，加上下面这行：

%HADOOP_HOME%\bin

（2）在 hadoop 的 hadoop-env.cmd 文件中配置下本地 JDK 位置（参照下面即可）

　　

（3）检查下 Hadoop 是否成功配置好，在 Dos 窗口下 输入 hadoop version 检测即可

 

3.Hadoop 集群配置

（1）修改 core-site.xml 文件

<configuration>
    <property>       
        <name>fs.defaultFS</name>       
        <value>hdfs://localhost:9000</value>   
    </property>
</configuration>

（2）修改  mapred.site.xml 文件（默认是 mapred.site.xml.template，直接改为 mapred.site.xml 即可）

<configuration>
    <property>       
        <name>mapreduce.framework.name</name>       
        <value>yarn</value>   
    </property>
</configuration>

（3）修改 hdfs-site.xml 文件（对于需要的目录需要自己提前创建好）

<configuration>
    <!-- 每个Block 的副本数-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
         <!-- 配置下NameNode存放的位置-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///..../hadoop2.7.5/data/dfs/nn/name</value>
    </property>
　　<!-- 配置下DataNode存放的位置-->    
　　<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///.../hadoop2.7.5/data/dfs/dn/data</value>
    </property>
</configuration>    

（4）配置 yarn-site.xml 文件

<configuration>
　　<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

 

4.开始运行 Hadoop

（1）格式化下 NameNode

hadoop namenode -format

没有报错说明成功运行

（2）启动集群服务

start-all.cmd

结果会自动弹出四个窗口：hadoop namenode、hadoop datanode、yarn nodemanager、yarn resourcemanager。

我们也可以使用 jps 来查看下（显示出来的说明已经启动成功）：

16640 Launcher
9072 NameNode
15412 RemoteMavenServer
20196 DataNode
17432 NodeManager
5384 ResourceManager
20572 Jps

 （3）停止服务可以使用

stop-all.cmd