摘要：
每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。 combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能。 如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低 阅读全文
摘要：
1.Partitioner是partitioner的基类，如果需要定制Partitioner也需要继承该类。 2. HashPartitioner是mapreduce的默认partitioner。计算方法是 which reducer=(key.hashCode() & Integer.MAX_VA 阅读全文
摘要：
1.新建一个WCMapper继承Mapper public class WCMapper extends Mapper<LongWritable, Text, Text, LongWritable> { public class WCMapper extends Mapper<LongWritabl 阅读全文
摘要：
1.在linux下安装eclipse-jee-kepler-SR2-linux-gtk.tar.gz 并在桌面生成快捷方式 2.解压m2.tar.gz /root/ 3.在maven程序/pom.xml添加引用，引用Hadoop，引用JDK <dependency> <groupId>org.apa 阅读全文