摘要:
1、Mapper 一个类要作为mapper必须实现Mapper接口,并且继承MapReduceBase类。 Mapper负责数据处理阶段,形式为Mapper,Mapper只有一个方法map,用于处理一个单独的key/value对。Hadoop预定义了一些非常有用的Mapper 2、Reducer 一个类要作为Reducer必须实现Reducer接口,并且继承MapReduceBase类。当reducer接受来自各个mapper的输出时,将按照key值对输入数据进行排序,并按照排序结果输出给不同的reducer。 同样,Hadoop预定义了一些非常有用的... 阅读全文
摘要:
本文提到的程序运行都是在eclipse中进行的,eclipse具体的配置方式可以参考这篇博文http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html 1、 第一个Hadoop程序——单词统计 import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoo... 阅读全文