2019年10月30日
MapReduce——简单数据去重
摘要： MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是”任务的分解与结果的汇总“。MapReduce可以把其处理过程高度抽象为Map与Reduce两个部分来进行阐 阅读全文
posted @ 2019-10-30 19:07 袁小丑 阅读(387) 评论(0) 推荐(0) 编辑