hadoop之 reduce个数控制

1、参数变更
1.x 参数名                                                         2.x 参数名
mapred.tasktracker.reduce.tasks.maximum     mapreduce.tasktracker.reduce.tasks.maximum
mapred.reduce.tasks                                       mapreduce.job.reduces

 

2、参数设置

2.1、mapred.tasktracker.reduce.tasks.maximum设置为逻辑CPU个数

<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>8</value>
<final>true</final>
</property>

2.2.1、 hadoop 服务器端参数设定
mapred.reduce.tasks <= mapred.tasktracker.reduce.tasks.maximum <= 单台 datanode 逻辑cpu个数

2.2.2、应用端调用 job. setNumReduceTasks（int n） 方法指定