|NO.Z.00059|——————————|BigDataEnd|——|Hadoop&MapReduce.V30|——|Hadoop.v30|调优及二次开发|MR调优-Job执行的三原则|

一、[MR调优-Job执行的三原则]：

### --- Job执行三原则

~~~     充分利用集群资源
~~~     reduce阶段尽量放在一轮
~~~     每个task的执行时间要合理

### --- 原则一 充分利用集群资源

~~~     Job运行时，尽量让所有的节点都有任务处理，这样能尽量保证集群资源被充分利用，
~~~     任务的并发度达到最大。可以通过调整处理的数据量大小，以及调整map和reduce个数来实现。
~~~     Reduce个数的控制使用“mapreduce.job.reduces”
~~~     Map个数取决于使用了哪种InputFormat，
~~~     默认的TextFileInputFormat将根据block的个数来分配map数(一个block一个map)。

### --- 原则二 ReduceTask并发调整

~~~     努力避免出现以下场景
~~~     观察Job如果大多数ReduceTask在第一轮运行完后，剩下很少甚至一个ReduceTask刚开始运行。
~~~     这种情况下，这个ReduceTask的执行时间将决定了该job的运行时间。可以考虑将reduce个数减少。
~~~     观察Job的执行情况如果是MapTask运行完成后，只有个别节点有ReduceTask在运行。
~~~     这时候集群资源没有得到充分利用，需要增加Reduce的并行度以便每个节点都有任务处理。

### --- 原则三 Task执行时间要合理

~~~     一个job中，每个MapTask或ReduceTask的执行时间只有几秒钟，
~~~     这就意味着这个job的大部分时间都消耗在task的调度和进程启停上了，
~~~     因此可以考虑增加每个task处理的数据大小。建议一个task处理时间为1分钟。

---

 

 

 

 

 

 

 

 

 

---

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart

                                                                                                                                                   ——W.S.Landor

---