随笔分类 - 大数据

MapReduce运行原理

摘要：MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是”任务的分解与结果的汇总”。 Map 阅读全文

posted @ 2018-11-16 13:45 如.若阅读(487) 评论(0) 推荐(0) 编辑