Hadoop框架基础(三)
** Hadoop框架基础(三)
上一节我们使用eclipse运行展示了hdfs系统中的某个文件数据,这一节我们简析一下离线计算框架MapReduce,以及通过eclipse来编写关于MapReduce的代码,在Hadoop第一小节内容中,我们成功运行了官方的WordCount的案例,这一节我们自己编写代码走一下这个流程。
本节目标:
* 了解mapreduce原理
* 编写wordcount的mapreduce案例
** MapReduce简述及架构
![](http://upload-images.jianshu.io/upload_images/4951489-af87ceff3205962b.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
上图简单的阐明了map和reduce的两个过程或者作用,虽然不够严谨,但是足以提供一个大概的认知,map过程是一个蔬菜到制成食物前的准备工作,reduce将准备好的材料合并进而制作出食物的过程,举个例子(方案3可以对比蔬菜这个图片做一个简单理解):
任务:我想检索全国的身份证信息,将姓名重复最多的名字统计出来。
想要完成这个任务,我们想一下方案
方案1:将全国的身份信息先搜集到某个文件中(比如搜集到“身份信息.txt”文件中),然后写一个程序,遍历该文件所有的名字,统计出名字出现最多的那个,并输出出来。
方案2:多线程,并发同时遍历处理该文件,但前提是:该计算机是物理多核CPU;而且还要手动分割文件,不然会出现内容重复统计,再者还要手动合并结果,做数据同步,效率比1高,但是代码逻辑比1麻烦的多。
方案3:我还是使用“方案1”的代码,把“方案1”的代码部署到多台计算机上,每台计算机遍历身份信息文件的一部分,统计出结果后,所有计算机做一个合并就OK了,但问题是,如何切分文件给所有的计算机,怎么切分合理,所有计算机的结果合并谁来处理,怎么合并。
其实mapreduce过程就是方案3。我们要学习的,也就是别人制定好的方案,并研究其合理性。
** MapReduce代码编写
目标:计算words.txt文档中的所有单词出现的次数,单词如图:
![](http://upload-images.jianshu.io/upload_images/4951489-6e61397386678165.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/368)
代码组成部分:
* map
如下图,首先创建WordCountMapper类,继承自org.apache.hadoop.mapreduce.Mapper类,然后复写其map方法,这个map方法会在整个框架需要进行map运算时自动调用的。map方法中,需要做的操作是将单词和出现次数放入map映射,比如这个例子,map过程结束后,出现的结果是:
<one, 1> <two, 1> <hadoop, 1> <element, 1> <dog, 1> <cat, 1> <go, 1> <for, 1> <cat, 1> <nick, 1> <hello, 1> <two, 1>
这里需要注意的是:
1、单词作为键
2、单词不管出现了几次,该键所对应的值都为1
3、map方法的参数,key为当前单词,value为分配给当前map任务的整个文本内容,所以后边要做一个split分割,后边的正则表达式的意思为:单词按照任意空白字符分割。
![](http://upload-images.jianshu.io/upload_images/4951489-396cf401385853d5.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
* reduce
如下图,首先创建WordCountReduce类,继承自org.apache.hadoop.mapreduce.Reducer类,然后覆写其reduce方法,这个reduce方法会在整个框架需要进行reduce运算时自动调用的。reduce方法中,需要做的操作是将map映射好的单词做合并处理(在shuffle过程讲解前,只能这样不太严谨的表述),reduce方法的key参数是当前传入到reduce方法中的单词,比如:cat这个单词,接着values参数,是这个cat单词所对应的映射,此例子为两个1。reduce过程,是将如下数据进行合并运算:
<one, [1]>
<two, [1, 1]>
<hadoop, [1]>
<element, [1]>
<dog, [1]>
<cat, [1, 1]>
<go, [1]>
<for, [1]>
<nick, [1]>
<hello, [1]>
那么对于cat这个单词来讲,reduce中的key参数就代表cat,values参数就代表[1, 1],如此便可统计合并。最后出来的结果,比如cat这个单词,那么就是<cat, 2>
可能的疑惑:
1、map过程产生的<cat, 1>和<cat, 1>是怎么变成<cat, [1, 1]>从而传递给reduce的?
2、如果我这个words.txt文件有10T这么大,那么按照HDFS存储分割成好多个128M分布存储在各个主机,那到底是怎么来协调的。
如上两个问题需要涉及到map和reduce的之间的一些细节,即shuffle过程(后续在说)。
![](http://upload-images.jianshu.io/upload_images/4951489-468fa2429879d48b.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
* job
编写完map和reduce代码后,最后需要创建一个任务来执行mapreduce运算,如下图,首先创建一个App类,继承自Configured并实现Tool接口,这里会让你覆写run方法。在run方法中,我们需要做的是:
1、创建配置实例Configuration
2、创建Job任务并设置Job任务所在类为App.class
3、为当前Job设置数据输入路径inPath
4、为当前Job设置map运算所在的那个类为WordCountMapper.class,设置map任务输出的结果类型,<cat, 1>这个类型当然是Text.class和LongWritable.class了
5、设置Job的reduce运算所在类,为WordCountReducer.class,设置reducer输出结果<cat, 2>的类型分别为Text.class和LongWritable.class。
6、设置Job任务的输出目录outPath
7、如果Job任务成功执行完毕,则返回0,否则返回1。
8、调用时,将输入目录和输出目录传入到args参数中,此时我直接默认:
args = new String[]{"/input/words/words.txt", "/output/"};
最后通过如下两行代码,执行任务并退出系统。
int status = ToolRunner.run(app.getConf(), app, args);
System.exit(status);
![](http://upload-images.jianshu.io/upload_images/4951489-f20cf3870a52747b.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
其中的deleteFileInHDFS方法为之前自定义的Tools类中的方法,方法可以在HDFS系统中删除传入的目录,在这个例子里,每次执行都删除之前创建出来的output目录,原因在于在执行某个job任务前,输出目录不能为已经存在的目录,所以要么手动删除之前的目录,要么手动指定新目录。在此为了方便我选择了前者(因为对于本例来讲,之前那些输出数据不需要了)。
![](http://upload-images.jianshu.io/upload_images/4951489-d5e6465c3b1db7a1.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
接着就可以运行该案例了,注意运行时,要先开启hdfs和yarn的相关服务,运行完成后,通过查看output目录的结果如图:
![](http://upload-images.jianshu.io/upload_images/4951489-bb3be10e8aa39f2d.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/456)
以上便完成了mapreduce关于wordcount单词统计的编码和运行。接下来,我们回忆一下之前使用官方examples.jar运行的单词统计任务,使用的命令是:
$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/ /output/
那么我们也想使用类似的方式把自己的代码打成jar包之后调用,怎么玩呢。首先,既然是想手动传入输入数据和输出目录,那么就先把如下代码注释掉:
![](http://upload-images.jianshu.io/upload_images/4951489-ac75056fbd843488.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
接着,我们开始打包程序:
1、在Eclipse中,依次点击:File -- Export -- Java -- JAR file -- Next
2、出现如下界面,这里我把JAR的输出目录改为:/home/z/Desktop/MyWordCount.jar,同时注意选择你要打包的源码,即src/main/java
![](http://upload-images.jianshu.io/upload_images/4951489-acb987886e429182.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/609)
3、下一步,再下一步,出现如下界面,注意红框部分,这里我们选择一个jar包的入口类,如果不选择,那么我们执行jar包时,还需要手动输入哪个类为入口类,最后Finish。(如果你的红框内容被遮挡住了,先Cancel下,然后全屏你的虚拟机系统,再次来到这个界面就能看到了)
![](http://upload-images.jianshu.io/upload_images/4951489-95cc9aafb612fa81.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/611)
4、桌面生成了一个Jar文件则成功。接下来我们通过这个jar来运行一下,输入指令:
$ bin/yarn jar /home/z/Desktop/MyWordCount.jar /input/words/words.txt /output/,如图所示,开始运行任务:
![](http://upload-images.jianshu.io/upload_images/4951489-3c0e037253b2e74f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
最后查看该任务结果:
![](http://upload-images.jianshu.io/upload_images/4951489-b9487f6e167c49cd.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/440)
成功运行!
** 最后我们对比两条命令
运行官方jar:$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/ /output/
运行自己jar:$ bin/yarn jar /home/z/Desktop/MyWordCount.jar /input/words/words.txt /output/
* 运行官方的jar时,除了指定某个位置的jar包运行在yarn平台上之外,还提供了wordcount任务名称,而我们自己写的没有,是因为我们封装的jar就一个单词统计任务,而且在封装jar时指定了主类。
* 运行官方提供的jar中的wordcount任务,提供的数据输入目录为/input/并没有指定哪个具体文件,是因为官方的demo中编写了自动遍历指定目录中所有可用的统计资源,而我们的代码中没有写这样的功能,所以请直接指定文件的绝对路径。
** 总结
本节需要大概了解mapreduce的运行原理,并成功使用eclipse编写mapreduce的单词统计任务,使之成功运行。最后完成jar包封装并成功调用。
个人微博:http://weibo.com/seal13
QQ大数据技术交流群(广告勿入):476966007
作者:Z尽际
链接:https://www.jianshu.com/p/87209aba4465
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。