王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十一讲Hadoop图文训练课程:MapReduce的原理机制和流程图剖析
这一讲我们主要剖析MapReduce的原理机制和流程。
“云计算分布式大数据Hadoop实战高手之路”之完整发布目录
云计算分布式大数据实战技术Hadoop交流群:312494188,每天都会在群中发布云计算实战性资料,欢迎大家加入!
关于MapReduce,你至少需要知道以下几点:
1, MapReduce是运行于分布式文件系统之上的,在Hadoop中就是运行于HDFS之上的;
2, MapReduce主要用于大规模数据的并行运算,这种大数据通过指1TB以上;
3, MapReduce的运行原理是把一个大任务切割成很多并行运行的小任务,然后合并小任务运行完后的结果,从而得到最终结果;
下图是MapReduce运行过程图:
理解这张图有以下几个要点:
1, 首先从图中我们可以看到MapReduce把Input files根据自己的规则进行了划分成了很多split ,在HDFS中把一个数据会被分成多个Block,一个Block会存在HDFS节点中的任意一个节点,即文件的存储是分布式的,在此图中数据被划分成了5个部分;
1, 对应于每个split就会有Map任务,在该图中,这个Map任务就是Work,着中国对应关系一般都是一对一的,即一个split就会对应一个Map任,MapReduce把一个大任务切割成很多并行运行的小任务,这里的小任务就是Map;
2, Map运行的过程中会产生很多中间结果;
3, 然后就进入了Reduce阶段,即对Map运行的中间结果进行合并;
4, 合并后的结果就会写入到输出文件中;
Android架构师、高级工程师、咨询顾问、培训专家;
通晓Android、HTML5、Hadoop,迷恋英语播音和健美;
致力于Android、HTML5、Hadoop的软、硬、云整合的一站式解决方案;
国内最早(2007年)从事于Android系统移植、软硬整合、框架修改、应用程序软件开发以及Android系统测试和应用软件测试的技术专家和技术创业人员之一。
HTML5技术领域的最早实践者(2009年)之一,成功为多个机构实现多款自定义HTML5浏览器,参与某知名的HTML5浏览器研发;
Hadoop源码级专家,曾负责某知名公司的类Hadoop框架开发工作,专注于Hadoop一站式解决方案的提供,同时也是云计算分布式大数据处理的最早实践者之一,Hadoop的狂热爱好者,不断的在实践中用Hadoop解决不同领域的大数据的高效处理和存储,现在正负责Hadoop在搜索引擎中的研发中国电信的多次Hadoop培训,花旗银行的Hadoop内训,金立手机的Hadoop内训等,著有《云计算分布式大数据Hadoop实战高手之路---从零开始》《云计算分布式大数据Hadoop实战高手之路---高手崛起》《云计算分布式大数据Hadoop。实战高手之路---高手之巅》等;
超过10本的IT畅销书作者;