hadoop下 Type mismatch in value from map的问题

为什么有时候我们写的好好的map(k1, v1, k2, v2) ——> reduce(k2,list(v2), k3, v3)为什么就是出现Type mismatch in value from map这样的错误呢?为什么呢?对于大多数的mapreduce程序而言,都是基于模板来写的,很少有人从一个空白来写出mapreduce程序,没有这个必要。问题就出在你的这个模板上,你的模板上可能有这么一句:

1 job.setCombinerClass(Reduce.class); 

这样一来数据流就变了,变成了map(k1, v1, k2, v2) ——> combiner(k2,list(v2), k3, v3) ——> reduce(k2,list(v2), k3, v3)

仔细看一下,如果从combiner到reduce是有问题的,如果(k3, v3)与(k2, v2)不相同的话,就会报错了!!!

所以这就是错误发生的根源,不要盲目地用combiner!!!给自己提个醒。

请把这一句代码给注释掉,或者自己重新写一个正确的!

posted on 2012-11-29 16:45  brainworm  阅读(275)  评论(0编辑  收藏  举报

导航