|NO.Z.00010|——————————|^^ 重要 ^^|——|Hadoop&Spark环境部署.v10|——|Hadoop.v10|map$reduce参数调整.v02|

附录一：Mapreduce内存参数调整一：

# --- 在mapreduce配置文件下配置

[root@hadoop02 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml
<!-- 设置map、reduce合理内存参数 -->
<property>
        <name>mapreduce.map.memory.mb</name>
        <value>512</value>
</property>
<property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>512</value>
</property>

# --- 在yarn-site.xml下配置

[root@hadoop02 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/yarn-site.xml
<!-- 设置map、reduce合理内存参数 -->
<property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>100</value>
</property>
<property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>1024</value>
</property>

附录二：Mapreduce内存参数调整二：

# --- yarn服务内存分配

# --- 由于我Yarn集群还需要跑Spark的任务，而Spark的Worker内存相对需要大些，所以需要调大单个任务的最大内存（默认为8G）。而Mapreduce的任务的内存配置：
# --- mapreduce.map.memory.mb：每个map任务的内存，应该是大于或者等于Container的最小内存。
# --- 按照上面的配置：每个slave可以运行map的数据<= 22528/1500,reduce任务的数量<=22528/3000

[root@hadoop01 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/yarn-site.xml

<!-- yarn服务内存分配 -->
<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1536</value>
        <discription>每个节点可用内存,单位MB</discription>
</property>
<property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
        <discription>单个任务可申请最少内存，默认1024MB</discription>
</property>
<property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>1024</value>
        <discription>单个任务可申请最大内存，默认8192MB</discription>
</property>
<property>
        <name>yarn.app.mapreduce.am.resource.mb</name>
        <value>300</value>
        <discription>单个任务，yarn下app运行内存，为300MB</discription>
</property>

<!-- map和reduce参数调整 -->
<property>
        <name>mapreduce.map.memory.mb</name>
        <value>300</value>
        <description>每个Map任务的物理内存限制</description>
</property>
<property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>300</value>
        <description>每个Reduce任务的物理内存限制</description>
</property>
<property>
        <name>mapreduce.map.java.opts</name>
        <value>-Xmx200m</value>
</property>
<property>
        <name>mapreduce.reduce.java.opts</name>
        <value>-Xmx250m</value>
</property>

---

附录三：报错处理三：

### --- 报错现象：

java.io.IOException: org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=1536, maxMemory=1024

### --- 报错分析：

~~~     yarn默认是设置1.5G内存来运行任务，但是虚拟机内存太小，没有1.5G，要改小运行任务内存

### --- 解决方案：

[root@hadoop03 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/yarn-site.xml
 
<!-- 设置yarn下app运行任务参数 -->
<property>
        <name>yarn.app.mapreduce.am.resource.mb</name>
        <value>200</value>
</property>

---

 

 

 

 

 

 

 

 

 

---

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart

                                                                                                                                                   ——W.S.Landor

---