MapReduce核心思想
核心:
分而治之,先分再和
俩个阶段:
Map阶段(分):
- 如果任何可以拆分并且没有依赖,那么就可以把复杂的任务拆分成小任务
- 拆分成下任务后,进行并行计算,提高处理效率
Reduce阶段(合):
- 把map阶段的各个局部结果进行汇总,得到最终结果!
来源:
- 来源于生活,
- 由谷歌提出,主要用于搜索领域,处理海量数据的计算问题,
- 由Google和hadoop团队将此思想提炼处理运用与大数据领域
本文版权归作者和博客园共有,欢迎转载,但必须给出原文链接,并保留此段声明,否则保留追究法律责任的权利。