mapreduce 中 groupingComparator 用法
摘要：groupingComparator是对reduce输入的数据进行分组，比如 public int compare(WritableComparable a, WritableComparable b) { OrderJoin a1 = (OrderJoin) a; OrderJoin b1 = (
阅读全文
我对maptask 和 reducetask的理解
摘要：MapTask: 首先经过 FileInputFormat 判断该文件是否要进行切片，如果是我们自定义的FileInputFormat基本上重写isSplit方法返回为false表示不进行切片，那么就是直接输入这个文件作为RecordReader读取的对象，RecordReader的nextKeyV
阅读全文
MapReduce中一次reduce方法的调用中key的值不断变化
摘要：简单一句话总结就是：ReduceContextImpl类的RawKeyValueIterator input迭代器对象里面存储中着key-value对的元素， 以及一个只存储value的迭代器，然后每调一次我们实现的reduce方法，就是传入ValueIterable迭代器对象和当前的key。但是我
阅读全文
