（二）Hadoop例子——运行example中的wordCount例子
Hadoop例子——运行example中的wordCount例子
一、 需求说明
单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为 MapReduce版"Hello World"，该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到。单词计数主要完成功能是：统计一系列文本文件中每个 单词出现的次数，如下图所示。
二、 环境
- VMware® Workstation 10.04
- Ubuntu14.04 32位
- Java JDK 1.6.0
- hadoop1.2.1
三、 WordCount例子的运行
1. 创建本地的示例数据文件：
依次进入【Home】-【hadoop】-【hadoop-1.2.1】创建一个文件夹file用来存储本地原始数据。
并在这个目录下创建2个文件分别命名为【myTest1.txt】和【myTest2.txt】或者你想要的任何文件名。
分别在这2个文件中输入下列示例语句：
2. 在HDFS上创建输入文件夹
呼出终端，输入下面指令：
bin/hadoop fs -mkdir hdfsInput
执行这个命令时可能会提示类似安全的问题，如果提示了，请使用
bin/hadoop dfsadmin -safemode leave
来退出安全模式。
当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结 束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入 安全模式。
意思是在HDFS远程创建一个输入目录，我们以后的文件需要上载到这个目录里面才能执行。
3. 上传本地file中文件到集群的hdfsInput目录下
在终端依次输入下面指令：
cd hadoop-1.2.1
bin/hadoop fs -put file/myTest*.txt hdfsInput
4. 运行例子：
在终端输入下面指令：
bin/hadoop jar hadoop-examples-1.2.1.jar wordcount hdfsInput hdfsOutput
注意，这里的示例程序是1.2.1版本的，可能每个机器有所不一致，那么请用*通配符代替版本号
bin/hadoop jar hadoop-examples-*.jar wordcount hdfsInput hdfsOutput
应该出现下面结果：
Hadoop命令会启动一个JVM来运行这个MapReduce程序，并自动获得Hadoop的配置，同时把类的路径（及其依赖关系）加入到 Hadoop的库中。以上就是Hadoop Job的运行记录，从这里可以看到，这个Job被赋予了一个ID号：job_201202292213_0002，而且得知输入文件有两个（Total input paths to process : 2），同时还可以了解map的输入输出记录（record数及字节数），以及reduce输入输出记录。
查看HDFS上hdfsOutput目录内容：
在终端输入下面指令：
bin/hadoop fs -ls hdfsOutput
从上图中知道生成了三个文件，我们的结果在"part-r-00000"中。
使用下面指令查看结果输出文件内容
bin/hadoop fs -cat output/part-r-00000
wordcount的例子中是以空格作为单词的分隔符。
输出目录日志以及输入目录中的文件是永久存在的，如果不删除的话，如果出现结果不一致，请参考这个因素。
四、 WordCount处理过程
WordCount的详细执行步骤如下：
1）将文件拆分成splits，由于测试用的文件较小，所以每个文件为一个split，并将文件按行分割形 成<key,value>对，如图4-1所示。这一步由MapReduce框架自动完成，其中偏移量（即key值）包括了回车所占的字符数 （Windows和Linux环境会不同）。
图4-1 分割过程
2）将分割好的<key,value>对交给用户定义的map方法进行处理，生成新的<key,value>对，如图4-2所示。
图4-2 执行map方法
3）得到map方法输出的<key,value>对后，Mapper会将它们按照key值进行排序，并执行Combine过程，将key至相同value值累加，得到Mapper的最终输出结果。如图4-3所示。
图4-3 Map端排序及Combine过程
4）Reducer先对从Mapper接收的数据进行排序，再交由用户自定义的reduce方法进行处理，得到新的<key,value>对，并作为WordCount的输出结果，如图4-4所示。
图4-4 Reduce端排序及输出结果
文章内容图片来自：
http://www.cnblogs.com/nod0620/archive/2012/06/20/2549395.html
http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html
http://www.cnblogs.com/madyina/p/3708153.html
