Hadoop学习历程（二、配置）

以下是进行单节点Hadoop配置的内容，多节点也类似

1. 进行Hadoop的安装

　　1.1 上文进行了Hadoop的编译，将编译结果目录 hadoop-2.2.0 拷贝为 /usr/hadoop 目录

　　1.2 编辑/etc/profile 文件，增加如下的内容

export HADOOP_PREFIX=/usr/hadoop
export PATH=$PATH:$HADOOP_PREFIX/bin
export PATH=$PATH:$HADOOP_PREFIX/sbin
export HADOOP_MAPRED_HOMD=${HADOOP_PREFIX}
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export YARN_HOME=${HADOOP_PREFIX}
export HADOOP_CONF_DIR=${HADOOP_PREFIX}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_PREFIX}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_PREFIX}/etc/hadoop

　　1.3 执行 source /etc/profile 操作，使配置生效

 

2. 进行Hadoop的设置

　　2.1 修改core-site.xml 文件（文件位置 /usr/hadoop/etc/hadoop/），添加如下内容

<configuration>
<property>
   <name>fs.defaultFS</name>
   <value>hdfs://localhost:8020</value>
</property>
</configuration>

　　2.2 修改hdfs-site.xml文件，位置如上，添加如下内容

<configuration>
   <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/hadoop/dfs/name</value>
                <final>true</final>
   </property>
   <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/hadoop/dfs/data</value>
                <final>true</final>
   </property>
   <property>
                <name>dfs.replication</name>
                <value>1</value>
   </property>
   <property>
               <name>dfs.permissions</name>
               <value>false</value>
   </property>
</configuration>

　　2.3 创建 mapred-site.xml文件，可以使用 mapred-site.xml.template模板，书写如下的内容

<configuration>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
</configuration>

　　2.4 编辑  yarn-site.xml文件，增加如下内容

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce.shuffle</value>
  </property>
</configuration>

　　2.5 创建必要的目录

　　　　因为配置中有usr/hadoop/dfs/data，/usr/hadoop/dfs/name两个不存在的目录，请建立这两个目录

 

3. 启动Hadoop

　　3.1 格式化 namenode

hdfs namenode -format

　　3.2 运行  start-dfs.sh，执行的过程中需要多次输入密码

　　3.3 执行 jps命令，查看一下，如果有类似如下的显示，证明启动成功

4792 NameNode
5168 Jps
1679 Bootstrap
1633 Launcher
4910 DataNode
5062 SecondaryNameNode

 

4. 停止Hadoop　

　　4.1 执行 stop-dfs.sh 命令，执行过程中需要多次输入密码

　　4.2 执行 jps命令，查看一下，所有的NameNode和DataNode应该都消失了

 

5. 正常的情况下应该首先配置SSL免密码连接，此文不具体说明，请参考其他资料