编译器将"+"转换成了StringBuilder类

 

MapReduce map100% Reduce 66% 卡死

 

如果你碰到map100%,reduce 66% 然后程序就貌似停止在这里了，可能是由于在Reduce类里使用了String造成的

根据一位外国友人的说明，在reduce阶段 ，0-33%阶段是 shuffle 阶段，就是根据键值 来讲本条记录发送到指定的reduce，这个阶段应该是在map还没有完全完成的时候就已经开始了，因为我们会看到map在执行到一个百分比后reduce也启动了，这样做也提高了程序的执行效率。

            34%-65%阶段是sort阶段，就是reduce根据收到的键值进行排序。map阶段也会发生排序，map的输出结果是以键值为顺序排序后输出，可以通过只有map阶段处理的输出来验证。

              66%-100%阶段是处理阶段，这个阶段才是真正的处理阶段，如果程序卡在这里，估计就是你的reduce程序有问题了。比如如下代码：  

String reducevalue=new String();

int i=0;

while (values.hasNext() && i<1000) {

if(reducevalue.length()>0){

reducevalue+="," }

reducevalue+=values.next().toString()); i++; }

output.collect(key, new Text(reducevalue.toString())); }
由于使用了String对象，造成性能下降，每传过来一个values对象，就会在while循环中创建几个String对象（也许还有StringBuilder对象，“+”会被编译成StringBuilder对象

 

大家可以看到，虽然编译器将"+"转换成了StringBuilder类，但创建StringBuilder对象的位置却在for语句内部。这就意味着每执行一次循环，就会创建一个StringBuilder对象（对于本例来说，是创建了10个StringBuilder对象），虽然Java有垃圾回收器，但这个回收器的工作时间是不定的。如果不断产生这样的垃圾，那么仍然会占用大量的资源。解决这个问题的方法就是在程序中直接使用StringBuilder类来连接字符串