Hadoop FileInputFormat实现原理及源码分析

FileInputFormat(org.apache.hadoop.mapreduce.lib.input.FileInputFormat)是专门针对文件类型的数据源而设计的,也是一个抽象类,它提供两方面的作用:
 
(1)定义Job输入文件的静态方法;
(2)为输入文件形成切片的通用实现;
 
至于如何将切片中的数据转换为一条条的“记录”则根据文件类型的不同交由具体的子类负责实现。
 
FileInputFormat input paths
 
FileInputFormat提供了四个静态方法用于定义Job的输入文件路径:
 
public static void addInputPath(Job job, Path path)
public static void addInputPaths(Job job, String commaSeparatedPaths)
public static void setInputPaths(Job job, Path... inputPaths)
public static void setInputPaths(Job job, String commaSeparatedPaths)
 
addInputPath()、addInputPaths()用于“添加”一个(批)输入路径,可以重复被调用,源码如下:
 
 
addInputPath的每一次调用都会将输入路径(Path会被转换为字符串形式)与原有值以“,”分隔进行拼接(并不会覆盖原有值),并保存至Job Configuration的属性INPUT_DIR(mapreduce.input.fileinputformat.inputdir)中。
 
 
而addInputPaths实际是对addInputPath的循环调用。
 
setInputPaths()实际是两个重载方法,用于“设置”一个(批)输入路径,该方法用于一次性调用,每一次调用都会覆盖之前的结果,源码如下:
 
 
该方法的最后会替换Job Configuration属性INPUT_DIR(mapreduce.input.fileinputformat.inputdir)的原有值。
 
 
 
这里所说的输入路径可以代表一个文件,也可以代表一个目录(该目录下的所有文件将全部作为输入数据),而且可以在输入路径中使用通配符或者使用“,”进行多个输入路径的拼接。
 
注意:目录中的内容(子目录)不会被递归处理。实际上目录中应仅包含文件,如果目录中包含子目录,这些子目录会被当作文件处理,从而引发异常。如果我们不需要递归目录,我们可以通过File Pattern或者Filter(见后)告知FileInputFormat仅仅选取指定目录中的文件;如果我们确实需要递归处理目录,则可以通过设置mapreduce.input.fileinputformat.input.dir.recursive为true实现。
 
有些时候我们还需要“过滤”输入路径中的一些文件,这可以通过方法setInputPathFilter()为FileInputFormat设置相应的过滤器实现,源码如下:
 
 
实际就是指定一个PathFilter(PathFilter的相关内容不再讨论范围)的具体实现类名称,保存于Job Configuration属性PATHFILTER_CLASS(mapreduce.input.pathFilter.class)中。
 
如果我们没有显示设置PathFilter,FileInputFormat会有一个默认的过滤器,用于过滤目录中的隐藏文件;如果我们显示设置PathFilter,则FileInputFormat的过滤器实则是一个过滤器链,而默认的过滤器会居于过滤器链的首部,优先被执行。
 
综上所述,FileInputFormat的输入路径和过滤器实际可以直接通过相应的属性值进行设置,如下图所求:
 
 
FileInputFormat input splits
 
FileInputFormat生成切片的过程是由getSplits()方法实现的,核心逻辑及相关源码如下:
 
1. 确定切片大小的最小值与最大值;
 
 
最小值:getFormatMinSplitSize()与getMinSplitSize()两者之间的较大值。getFormatMinSplitSize()是FileInputFormat中的一个实例方法,默认返回值为1,即1字节;getMinSplitSize()返回值由属性mapreduce.input.fileinputformat.split.minsize决定,默认值为1,即1字节。如果没有特殊需要,最小值即为1字节。有些数据格式的文件对切片的最小大小是有要求的,如SequenceFile(具体可参考SequenceFile相关文档),这时就需要在FileInputFormat子类中重写getFormatMinSplitSize()方法来满足特定需求。
 
最大值:getMaxSplitSize()返回值由属性mapreduce.input.fileinputformat.split.maxsize决定,默认值为Long.MAX_VALUE。
 
2. 获取输入路径中的所有文件信息;
 
 
3. 迭代处理输入路径中的每一个文件,为每一个文件生成切片;
 
 
 
对于每一个文件而言,生成切片的过程大致可以概括为以下5个关键步骤:
 
获取文件的路径及长度(1);
如果文件长度为0,则生成一个“空”的切片(5);如果文件长度不为0,则获取文件的数据块信息(2);
如果文件格式不可切片,则将整个文件生成一个切片(4);如果文件格式可切片,则为该文件生成切片(3)。
 
其中文件格式是否支持切片,由FileInputFormat isSplitable()方法决定,默认返回值为true,即默认可切片。可以根据实际应用场景的不同,在FileInputFormat的子类中重写该方法,使返回值为false,达到禁止切片的功效,这样每一个Map Task会处理一个文件的全部数据。
 
在详细介绍第3步之前,需要先引入一个新的类FileSplit,它表示一个文件切片,包含的变量如下:
 
 
file:切片所引用的文件路径(名称);
start:切片在文件中的起始偏移量;
length:切片大小;
hosts:由切片在文件中的起始偏移量、切片大小、文件数据块信息可以计算出切片所引用的数据块有哪些(切片大小可能大于HDFS的数据块大小),hosts中保存着这些数据块中的第一个数据块的副本位置(主机名),默认为3个主机名,MapReduce根据此值完成Map Task的调度;
hostInfos:相对于hosts中保存着的主机名,还保存着副本是否位于主机内存的信息。
 
 
下面介绍一个(可切片)文件切片的形成过程,大体也可以分为5个步骤:
 
step1
 
首先获取文件的数据块大小blockSize(这里也可以看出不同的文件,数据块大小也是可以不同的);
 
然后根据数据块大小(blockSize)、切片最小值(minSize)、切片最大值(maxSize)计算文件对应的切片大小(splitSize),计算公式如下:
 
splitSize = max(minimumSize, min(maximumSize, blockSize))
 
step2
 
判断文件的剩余大小(未切片的大小)是否满足继续进行切片的条件:((double) bytesRemaining)/splitSize > SPLIT_SLOP为true,其中bytesRemaining初始值为文件长度length,SPLIT_SLOP值为1.1,且不可修改,即文件剩余大小需为切片大小(splitSize)的1.1倍才会继续切片。
 
step3
 
获取切片对应的数据块。一个切片根据切片大小的不同,可能会包含若干个数据块,这里将第一个数据块的副本位置作为切片的存储位置。
 
切片在文件中的起始偏移量的计算公式:
 
offset = (n - 1)* splitSize,n表示第几个切片
 
对于给定的切片的offset,getBlockIndex实际就是计算文件的哪个数据块的起止范围恰好包含offset,返回这个数据块在数据块列表(blkLocations)的下标,计算流程如下:
 
 
step4
 
根据下标对应的数据块信息构建一个FileSplit。根据FileSplit的信息,可以看出FileSplit并不实现保存数据,仅仅是通过文件名称、起始偏移量、大小关联数据,并将对应数据块的副本位置作为切片的存储位置进行Map Task的调度。
 
循环执行step2、step3、step4直到文件剩余大小无法满足切片条件。
 
step5
 
将文件的剩余部分构建一个FileSplit。
 
 
 
posted on 2015-05-19 11:05  非著名野生程序员  阅读(3505)  评论(0编辑  收藏  举报