MapReduce程序的优化

MapReduce程序的优化主要集中在两个方面：一个是运算性能方面的优化；另一个是IO操作方面的优化。

具体体现在以下的几个环节之上：

1. 任务调度

a. 尽量选择空闲节点进行计算

b. 尽量把任务分配给InputSplit所在机器

 

2. 数据预处理与InputSplit的大小

尽量处理少量的大数据；而不是大量的小数据。因此可以在处理前对数据进行一次预处理，将数据进行合并。

如果自己懒得合并，可以参考使用CombineFileInputFormat函数。具体用法请查阅相关函数手册。

 

3. Map和Reduce任务的数量

Map任务槽中任务的数量需要参考Map的运行时间，而Reduce任务的数量则只需要参考Map槽中的任务数，一般是0.95或1.75倍。

 

4. 使用Combine函数

该函数用于合并本地的数据，可以大大减少网络消耗。具体请参考函数手册。

 

5. 压缩

可以对一些中间数据进行压缩处理，达到减少网络消耗的目的。

 

6. 自定义comparator

可以自定义数据类型实现更复杂的目的。

 

转载：http://www.cnblogs.com/muchen/