Hadoop之小文件处理与调优经验

HDFS小文件弊端：

HDFS上每个文件都要在namenode上建立一个索引，这个索引的大小约为150byte，这样当小文件比较多的时候，就会产生很多的索引文件，一方面会大量占用namenode的内存空间，另一方面就是索引文件过大是的索引速度变慢。

 

解决的方式：

  1：Hadoop本身提供了一些文件压缩的方案

 

  2：从系统层面改变现有HDFS存在的问题，其实主要还是小文件的合并，然后建立比较快速的索引。

 

Hadoop自带小文件解决方案

1：Hadoop Archive:

     是一个高效地将小文件放入HDFS块中的文件存档工具，它能够将多个小文件打包成一个HAR文件，这样在减

     少namenode内存使用的同时。

2：Sequence file：

     sequence file由一系列的二进制key/value组成，如果为key小文件名，value为文件内容，则可以将大批

     小文件合并成一个大文件。

3：CombineFileInputFormat：

     CombineFileInputFormat是一种新的inputformat，用于将多个文件合并成一个单独的split，另外，它会

     考虑数据的存储位置。

 

小文件优化(实战经验)

 

开启Jvm重用对Job影响：hadoop集群机器配置：三台Ubnutu虚拟机，内存512M

 

文件数 文件大小 JVM重用 耗时 Jobid

4815 7.54 GB Y 32mins, 5sec job_201206161018_0004

4815 7.54 GB N 58mins, 49sec job_201206161018_0014

 

结论：对于大量小文件Job，开启JVM重用减少45%运行时间

一个map运行一个jvm，重用的话，在一个map在jvm上运行完毕后，jvm继续运行其他jvm

 

参数mapred.reduce.parallel.copies

 

任务时间 mapred.reduce.parallel.copies

54mins, 21sec 5（默认值）

48mins, 30sec 20

 

通过配置参数mapred.reduce.parallel.copies可以提升12%性能

 

优化项 优化方法 可以减少Job时间

Jvm重用 开启jvm重用 45%

mapred.reduce.parallel.copies 默认值为5，优化值20 12%

 

解释mapred.reduce.parallel.copies：

Reduce task在做shuffle时，实际上就是从不同的已经完成的map上去下载属于自己这个reduce的部分数据，

由于map通常有许多个，所以对一个reduce来说，下载也可以是并行的从多个map下载，这个并行度是可以调

整的，调整参数为：mapred.reduce.parallel.copies（default 5）。默认情况下，每个只会有5个并行的下

载线程在从map下数据，如果一个时间段内job完成的map有100个或者更多，那么reduce也最多只能 同时下载

5个map的数据，所以这个参数比较适合map很多并且完成的比较快的job的情况下调大，有利于reduce更快的

获取属于自己部分的数据。