2013年2月5日
MapReduce的KeyValueTextInputFormat使用
摘要： 1 package com.mengyao.hadoop.mapreduce; 2 3 import java.io.IOException; 4 5 import org.apache.hadoop.conf.Configuration; 6 import org.apache.... 阅读全文
posted @ 2013-02-05 23:17 孟尧 阅读(569) 评论(1) 推荐(0) 编辑
MapReduce的自定义分区
摘要： MapReduce有4种Partitioner，如下： HashPartitioner，默认的分区。 计算方法：which reducer = (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks HashPar... 阅读全文
posted @ 2013-02-05 16:31 孟尧 阅读(321) 评论(0) 推荐(0) 编辑
MapReduce的DBInputFormat使用
摘要： 1 package com.mengyao.hadoop.mapreduce; 2 3 import java.io.DataInput; 4 import java.io.DataOutput; 5 import java.io.IOException; 6 import java... 阅读全文
posted @ 2013-02-05 11:21 孟尧 阅读(808) 评论(1) 推荐(0) 编辑