Hadoop自学系列集(四) ---- Hadoop集群

　　久等了，近期公司比较忙，学习的时间都没有啊，到今日才有时间呢！！！好了，下面就跟着笔者开始配置Hadoop集群吧。

　　hosts文件和SSH免密码登录配置好了之后，现在进入Hadoop安装目录，修改一些配置文件，修改配置还是相对简单的，一下是需要修改的文件内容(当然这里只是学习时的配置，更加深入的配置笔者也不会了，嘿嘿嘿)，四台机相同配置，以下是一些修改的文件(红色为修改部分)：

　　conf/hadoop-env.sh:

　　export JAVA_HOME=/usr/local/java/jdk1.6.0_45   ##原本是注释的，解开注释，修改一下路径即可

　　conf/core-site.xml:

　　　<?xml version="1.0"?>

　　<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

　　<!-- Put site-specific property overrides in this file. -->

　　<configuration>
　　　　<property>

　　　　　　<!-- 用户DFS命令模块中指定默认的文件系统协议 -->
　　　　　　<name>fs.default.name</name>
　　　　　　<value>hdfs://hadoop.master:9000</value>
　　　　</property>
　　　　<property>
　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　<value>/usr/local/temp</value>
　　　　</property>
　　</configuration>

 

　　conf/hdfs-site.xml：

　　<?xml version="1.0"?>

　　<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

　　<!-- Put site-specific property overrides in this file. -->

　　<configuration>
　　　　<property>
　　　　　　<!-- 默认Block副本数，设置为副节点个数，这里为3个 -->
　　　　　　<name>dfs.replication</name>
　　　　　　<value>3</value>
　　　　</property>
　　</configuration>

 

　　conf/mapred-site.xml(配置JobTracker):

　　<?xml version="1.0"?>

　　<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

　　<!-- Put site-specific property overrides in this file. -->

　　<configuration>
　　　　<property>
　　　　　　<name>mapred.job.tracker</name>
　　　　　　<value>hadoop.master:9001</value>
　　　　</property>
　　</configuration>

　　conf/masters(填写主节点主机名即可):

　　hadoop.master

　　conf/slaves(填写从节点主机名，一行一个):

　　hadoop.slave1

　　hadoop.slave2

　　hadoop.slave3

　　

　　至此，配置已经修改完了，接下来是启动。在首次启动之前，先格式化NameNode，之后启动就不需要格式化了，命令如下：

　　hadoop namenode -format

　　接下来，启动Hadoop集群：

　　start-all.sh

　　启动后截图如下：

　　

　　在启动过程中由于配置了SSH免密码登录，是不会询问slaves机器上的密码的。

　　集群测试：

　　接下来我们运行一下hadoop-example.jar中自带的wordCount程序，用户统计单词出现次数，步骤如下：

　　1.新建一个test.txt,内容可自行填写:

　　

 

　　2.在HDFS系统中创建一个文件夹input，命令如下：

　　　　hadoop fs -mkdir /user/hadoop/input1

　　3.上传刚刚创建的test.txt至HDFS系统中的input文件夹，命令如下：
　　　　hadoop fs -put /usr/local/hadoop/test.txt /user/hadoop/input1/

　　4.查看文件是否已经上传至HDFS中，命令如下:

　　　　hadoop fs -ls /user/hadoop/input1/

　　5.运行hadoop-example.jar，命令如下：

　　　　cd /usr/local/hadoop

　　　　hadoop -jar hadoop-example-1.2.1.jar wordcount /user/hadoop/input1/test.txt /user/hadoop/output1

　　6.过程截图：

　　　　　　　　

　　　　

　　　7.运行完毕后，可以查看结果了，键入以下命令，结果截图也在下面：

　　　　hadoop fs -text /user/hadoop/output1/part-r-00000

　　　　

　　　　OK！至此Hadoop集群就安装结束了，而且也测试过了，就先写到这里了。