Hadoop_28_MapReduce_自定义 inputFormat
1. 自定义inputFormat
1.1.需求:
无论hdfs还是mapreduce,对于小文件都有损效率,实践中,又难免面临处理大量小文件,此时就需要有相应解决方案;
1.2.分析:
小文件的优化无非以下几种方式:
1、在数据采集的时候,就将小文件或小批数据合成大文件再上传HDFS;
2、在业务处理之前,在HDFS上使用mapreduce程序对小文件进行合并;
3、在mapreduce处理时,可采用combineInputFormat提高效率;
当小文件足够,切片数量也会增多,那么可以使用combineInputFormat将小文件合并
1.3.实现:
本节实现的是上述第二种方式,程序的核心机制:
自定义一个InputFormat,改写RecordReader,实现一次读取一个完整文件封装为KV,在输出时使用SequenceFileOutPutFormat
输出合并文件
你情我愿,我们就在一起!