Hadoop伪分布式安装

一、Hadoop安装装准备工作

首先主机关闭防火墙

# service iptables stop
# chkconfig iptables off

之后修改主机名，注意Hadoop要求主机名中不能出现横线-或下划线_，修改network文件，完成后source该文件，再修改hosts文件，然后重启系统

# vim /etc/sysconfig/network

source /etc/sysconfig/network

vim /etc/hosts

二、Hadoop下载安装

本文章以Hadoop-2.10.0版本为例，首先从官网上下载该版本的Hadoop压缩包

然后上传到云主机或虚拟机，进行解压，完成后切换到/home/software/hadoop-2.10.0.tar.gz/etc/hadoop目录下

# tar -zvxf hadoop-2.10.0.tar.gz

三、修改配置文件

# cd /home/software/hadoop-2.10.0/etc/hadoop

1、编辑配置文件hadoop-env.sh，修改Java_home路径（JDK安装路径）和Hadoop配置文件路径（就是该配置文件所在的路径）

2、编辑配置文件core-site.xml，注意里面的主机名和安装路径按照自己的来配置

<configuration>
     <property>
         <name> fs.defaultFS</name>
         <value>hdfs://hadoop01:9000</value>
     </property>
     <propert>
          <name>hadoop.tmp.dir</name>
          <value>/home/software/hadoop-2.10.0/tmp</value>
     </propert>
</configuration>

3、编辑hdfs-site.xml文件

<configuration>
          <property>
               <name>dfs.replication</name>
               <value>1</value>
          </property>
</configuration>

4、复制模板文件mapred-site.xml.template，完成后编辑mapred-site.xml

# cp mapred-site.xml.template mapred-site.xml

<configuration>
       <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
       </property>
</configuration>

5、编辑yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
           <property>
              <name>yarn.resourcemanager.hostname</name>
              <value>hadoop01</value>
           </property>
           <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
           </property>
</configuration>