这一讲我们主要剖析MapReduce的原理机制和流程。 “云计算分布式大数据Hadoop实战高手之路”之完整发布目录 云计算分布式大数据实战技术Hadoop交流群:312494188,每天都会在群中发布云计算实战性资料,欢迎大家加入! 关于MapReduce,你至少需要知道以下几点: 1, MapReduce是运行于分布式文件系统之上的,在Hadoop中就是运行于HDFS之上的; 2, MapReduce主要用于大规模数据的并行运算,这种大数据通过指1TB以上; 3, MapReduce的运行原理是把一个大任务切割成很多并行运行的小任务,然后合并小任务运行完后的结果,从而得到最终结果; Read More
posted @ 2013-06-21 15:42 王家林的Hadoop之旅 Views(1141) Comments(2) Diggs(2) Edit