hadoop输入格式(InputFormat)

　　InputFormat接口(package org.apache.hadoop.mapreduce包中)里包括两个方法：getSplits()和createRecordReader()，这两个方法分别用来定义输入分片和读取分片的方法。 

public abstract class InputFormat<K, V> {

  public abstract 
    List<InputSplit> getSplits(JobContext context
                               ) throws IOException, InterruptedException;
  

  public abstract 
    RecordReader<K,V> createRecordReader(InputSplit split,
                                         TaskAttemptContext context
                                        ) throws IOException, 
                                                 InterruptedException;
}

　　getSplits()负责将文件切分成多个分片(InputSplit)，但InputSplit并没有实际切分文件，而只是说明了如何切分数据，也就是说，InputSplit只是逻辑上的切分。createRecordReader()则创建了RecordReader，用来从InputSplit读取记录。

　　

　　再看InputSplit类，它包括了getLength()和getLocation()两个方法。getLength()方法用来获取InputSplit的大小，getLocation()则用来获取InputSplit的位置。

public abstract class InputSplit {

  public abstract long getLength() throws IOException, InterruptedException;

  public abstract 
    String[] getLocations() throws IOException, InterruptedException;
}

　　每个InputSplit对应一个map任务。作为map的输入，在逻辑上提供了这个map任务所要处理的key-value对。

 

　　InputSplit只是定义了如何切分文件，但并没有定义如何访问它，这个工作由RecordReader来完成。RecordReader的实例是由InputFormat定义的。例如，在InputFormat的默认子类TextInputFormat中，提供了LineRecordReader。 

package org.apache.hadoop.mapreduce.lib.input;

public class TextInputFormat extends FileInputFormat<LongWritable, Text> {

  @Override
  public RecordReader<LongWritable, Text> 
    createRecordReader(InputSplit split,
                       TaskAttemptContext context) {
    return new LineRecordReader();
  }

 

　　LineRecordReader会把文件的每一行作为一个单独的记录，并以行偏移为键值。这也就解释了WordCount例子中，行偏移为key值，每一行的内容作为value的原因。

　　本文基于hadoop1.2.1

　　如有错误，还请指正

　　参考文章：《Hadoop应用开发技术详解》  刘刚

　　转载请注明出处：http://www.cnblogs.com/gwgyk/p/3997734.html