摘要: 1、Mapper 一个类要作为mapper必须实现Mapper接口,并且继承MapReduceBase类。 Mapper负责数据处理阶段,形式为Mapper,Mapper只有一个方法map,用于处理一个单独的key/value对。Hadoop预定义了一些非常有用的Mapper 2、Reducer 一个类要作为Reducer必须实现Reducer接口,并且继承MapReduceBase类。当reducer接受来自各个mapper的输出时,将按照key值对输入数据进行排序,并按照排序结果输出给不同的reducer。 同样,Hadoop预定义了一些非常有用的... 阅读全文
posted @ 2013-08-28 20:35 conbein 阅读(287) 评论(0) 推荐(0) 编辑
摘要: 本文提到的程序运行都是在eclipse中进行的,eclipse具体的配置方式可以参考这篇博文http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html 1、 第一个Hadoop程序——单词统计 import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoo... 阅读全文
posted @ 2013-08-28 19:47 conbein 阅读(291) 评论(0) 推荐(0) 编辑