MapReduce框架原理

 

 

1.InputFormat数据输入

 

（1）切片与MapTask并行度决定机制.

 MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。

 

MapTask并行度决定机制

  数据块：Block是HDFS物理上把数据分成一块一块。数据块是HDFS存储数据单位。

  数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。数据切片是MapReduce程序计算输入数据的单位，一个切片会对应启动一个MapTask。

 

 

 2. FileInputFormat切片机制

（1）切片机制

  1）简单地按照文件的内容长度进行切片。

  2）切片大小，默认等于Block大小。

  3）切片时不考虑数据集整体，而是逐个针对每 一个文件单独切片。

 

 

（2）FileInputFormat切片大小的参数配置

   1）源码中计算切片大小的公式

  Math.max(minSize, Math.min(maxSize, blockSize));

  mapreduce.input.fileinputformat.split.minsize = 1  //默认值为1

  mapreduce.input.fileinputformat.split.maxsize = Long.MAXValue //默认值Long.MAXValue

  因此，默认情况下，切片大小=blocksize。

 

  2）切片大小设置

  maxsize（切片最大值）：参数如果调的比blockSize小，则会让切片变小，而且就等于配置的这个参数的值。

  minsize（切片最小值）：参数调的比blockSize大，则可以让切片变得比blockSize还大。

 

 

3. TextInputFormat

 

（1）FileInputFormat实现类

 

思考：在运行MapReduce程序时，输入的文件格式包括：基于行的日志文件、二进制格式文件、数据库表等。那么，针对不同的数据类型，MapReduce是如何读取这些数据的呢？

 

FileInputFormat常见的接口实现类包括：TextInputFormat、KeyValueTextInputFormat、NLineInputFormat、CombineTextInputFormat和自定义InputFormat等。

 

 

（2）TextInputFormat

 

TextInputFormat是默认的FileInputFormat实现类。按行读取每条记录。键是存储该行在整个文件中的起始字节偏移量， LongWritable类型。值是这行的内容，不包括任何行终止符（换行符和回车符），Text类型。

 

 

4.CombineTextInputFormat切片机制

  框架默认的TextInputFormat切片机制是对任务按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask，这样如果有大量小文件，就会产生大量的MapTask，处理效率极其低下。

 

 

（1）应用场景：

 

CombineTextInputFormat用于小文件过多的场景，它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个MapTask处理。

 

 

（2）虚拟存储切片最大值设置

 

CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);// 4m

 

注意：虚拟存储切片最大值设置最好根据实际的小文件大小情况来设置具体的值。

 

 

（3）切片机制

 

生成切片过程包括：虚拟存储过程和切片过程二部分。