Windows7单机部署Hadoop

检查/安装JDK1.8

　　　　这个安装及环境变量的配置就不再赘述了。

下载Hadoop包

　　　下载地址是http://archive.apache.org/dist/hadoop/core/ 我这里选择的是2.5.1的版本

解压Hadoop包，并添加环境变量。

　　　　将上面下载好的Hadoop包解压到一个目录，因为后期要上传数据，建议选择一个剩余存储空间比较大的目录。

　　　　设置环境变量 HADOOP_HOME="F:\hadoop\hadoop-2.5.1"

　　　　将该路径"%HADOOP_HOME%\bin"添加到系统路径path中

下载window util for hadoop

　　　下载地址是：https://codeload.github.com/gvreddy1210/bin/zip/master，注意该工具的版本与Hadoop版本的需要兼容，下载完成后解压覆盖到上述路径的bin目录下，例如：F:\hadoop\hadoop-2.5.1\bin。

创建DataNode和NameNode

　　创建 Data目录和Name目录，用来存储数据，例如：F:\hadoop\hadoop-2.5.1\data\datanode和F:\hadoop\hadoop-2.5.1\data\namenode。

修改Hadoop相关的配置文件

　　主要修改四个配置文件：core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml,，这四个文件的路径为：F:\hadoop\hadoop-2.5.1\etc\hadoop。修改的内容如下：

- core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

- hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/F:/hadoop/hadoop-2.5.1/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/F:/hadoop/hadoop-2.5.1/data/datanode</value>
    </property>
</configuration>

- mapred-site.xml

<configuration>
  <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

- yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>2</value>
    </property>

</configuration>