这一讲我们主要剖析MapReduce的原理机制和流程。
“云计算分布式大数据Hadoop实战高手之路”之完整发布目录
云计算分布式大数据实战技术Hadoop交流群:312494188,每天都会在群中发布云计算实战性资料,欢迎大家加入!
关于MapReduce,你至少需要知道以下几点:
1, MapReduce是运行于分布式文件系统之上的,在Hadoop中就是运行于HDFS之上的;
2, MapReduce主要用于大规模数据的并行运算,这种大数据通过指1TB以上;
3, MapReduce的运行原理是把一个大任务切割成很多并行运行的小任务,然后合并小任务运行完后的结果,从而得到最终结果; Read More