最近在写一个MR调度程序,在以服务进程中同时开启了两个MapReduce线程。这两个MR共享同一份输入源,此时会造成Cast异常:

java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.InputSplit
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:412)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:212)
 
查资料发现MR不支持多线程。所以将此2个MR合并为同一个调度,待第一个调度waitForCompletion(true)后,再调度第二个MR。串行调度。便可解决此问题。
posted on 2013-11-06 14:02  LifeStudio  阅读(573)  评论(0编辑  收藏  举报