摘要: 翻译自:http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法,并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型,包括Mappers, Reduces, Combiners, Partitioners,和 sorting。如下图所示。基本MapReduce模式计数与求和问题陈述:有许多文档,每个文档都有一些字段组成。需要计算出每个字段在所有文档中的出现次数或者这些字段的其他什么统计值。例如, 阅读全文
posted @ 2013-09-25 15:49 李占卫 阅读(739) 评论(0) 推荐(0) 编辑
摘要: 假设A有好友B C D;B有好友A C D E;C有好友A B D E;D有好友A B C E;E有好友B C D。A -> B C DB -> A C D EC -> A B D ED -> A B C EE -> B C D则对于A来说,A -> B C D(A B) -> B C D(A C) -> B C D(A D) -> B C D对于B来说,B -> A C D E(A B) -> A C D E(B C) -> A C D E(B D) -> A C D E(B E) -> A C D E对于C 阅读全文
posted @ 2013-09-25 15:06 李占卫 阅读(670) 评论(0) 推荐(0) 编辑