链式mapreduce

在hadoop 中一个Job中可以按顺序运行多个mapper对数据进行前期的处理，再进行reduce，经reduce后的结果可经个经多个按顺序执行的mapper进行后期的处理，这样的Job是不会保存中间结果的，并大大减少了I/O操作。

例如：在一个Job中，按顺序执行 MAP1->MAP2->REDUCE->MAP3->MAP4 在这种链式结构中，要将MAP2与REDUCE看成这个MAPREDUCE的核心部分(就像是单个中的MAP与REDUCE)，并且partitioning与shuffling在此处才会被应用到。所以MAP1作为前期处理，而MAP3与MAP4作为后期处理。

 

[java] view plaincopy
  1. Configuration conf = getConf();  
  2. JobConf job = new JobConf(conf);  
  3.   
  4.   
  5. job.setJobName(“ChainJob”);  
  6. job.setInputFormat(TextInputFormat.class);  
  7. job.setOutputFormat(TextOutputFormat.class);  
  8.   
  9.   
  10. FileInputFormat.setInputPaths(job, in);  
  11. FileOutputFormat.setOutputPath(job, out);  
  12.   
  13.   
  14. JobConf map1Conf = new JobConf(false);  
  15.   
  16. ChainMapper.addMapp(job,  
  17.                     Map1.class,  
  18.                     LongWritable.class,   
  19.                     Text.class,  
  20.                     Text.class,  
  21.                     Text.class,  
  22.                     true,  
  23.                     map1Conf);  
  24.   
  25. //将map1加入到Job中  
  26.   
  27.   
  28. JobConf map2Conf = new JobConf(false);  
  29. ChainMapper.addMapper(job,  
  30.                       BMap.class,  
  31.                       Text.class,  
  32.                       Text.class,   
  33.                       LongWritable.class,  
  34.                       Text.class,  
  35.                       true,  
  36.                       map2Conf);  
  37.   
  38. /将map2加入到Job中  
  39.   
  40.   
  41.    
  42.   
  43.   
  44. JobConf reduceConf = new JobConf(false);  
  45. ChainReducer.setReducer(job,  
  46.                         Reduce.class,  
  47.                         LongWritable.class,  
  48.                         Text.class,  
  49.                         Text.class,  
  50.                         Text.class,  
  51.                         true,  
  52.                         reduceConf);  
  53.   
  54. /将reduce加入到Job中  
  55.   
  56.   
  57.    
  58.   
  59.   
  60. JobConf map3Conf = new JobConf(false);  
  61. ChainReducer.addMapper(job,  
  62.                        Map3.class,  
  63.                        Text.class,  
  64.                        Text.class,  
  65.                        LongWritable.class,   
  66.                        Text.class,  
  67.                        true,  
  68.                        map3Conf);  
  69.   
  70. /将map3加入到Job中  
  71.   
  72.   
  73.   
  74. JobConf map4Conf = new JobConf(false);  
  75. ChainReducer.addMapper(job,  
  76.                        Map4.class,  
  77.                        LongWritable.class,  
  78.                        Text.class,   
  79.                        LongWritable.class,  
  80.                        Text.class,  
  81.                        true,  
  82.                        map4Conf);  
  83.   
  84. //将map4加入到Job中  
  85.   
  86. JobClient.runJob(job);  
  87.   
  88. 注：上一个的输出是一下的输入，所以上一个的输出数据类型必须与下一个输入的数据类型一样  
  89.   
  90.    

***************************************************

addMapper中的参数

public static <K1,V1,K2,V2> void
addMapper(JobConf job,
                    Class<? extends Mapper<K1,V1,K2,V2>> klass,
                    Class<? extends K1> inputKeyClass,
                    Class<? extends V1> inputValueClass,
                    Class<? extends K2> outputKeyClass,
                    Class<? extends V2> outputValueClass,
                    boolean byValue,
                    JobConf mapperConf)

posted @ 2014-05-08 19:22  baoendemao  阅读(319)  评论(0)  编辑  收藏  举报