Hadoop学习01:基础程序模板
摘要:
看hadoop in action这本书,写的不错,就是没有兼容新的API,有点遗憾。第一个例子讲倒排索引问题,本质上是求一个图的入度问题,将一个有向图邻接矩阵转置对每行求和。简单的协同推荐也是这样的思想。基本的MapReduce编程遵循一个模板。逻辑由聚合函数来描述:分配型、代数型、全集型。复杂MapReduce作业的链接:A->B->C(顺序型)、(A, B)->C(依赖型)。1. MapReduce基础程序 首先以倒排索引为例子,形成MapReduce的基本思维。采用专利引用数据集cite75_99.txt,数据格式如下: "CITING",&quo 阅读全文
posted @ 2013-05-15 22:23 zjgtan 阅读(472) 评论(0) 推荐(0) 编辑