Hadoop YARN生产环境核心配置参数

1.ResourceManager相关

配置参数	说明	默认值	备注
yarn.resourcemanager.scheduler.class	配置调度器,默认为容量调度器(Apache)	org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler	对并发度要求高，首选公平调度器,对并发度要求不高，则选择容器调度器
yarn.resourcemanager.scheduler.client.thread-count	ResourceManager处理调度器请求的线程数量	50	根据资源和任务的数量调控

2.NodeManager相关

管理单节点上面的资源

配置参数	说明	默认值	备注
yarn.nodemanager.resource.detect-hardware-capabilities	是否让yarn自己检测硬件进行配置，默认false	false	小白就true,大佬就false
yarn.nodemanager.resource.count-logical-processors-as-cores	是否将虚拟核数当作cpu核数,默认false	false	强悍的cpu应该开启?
yarn.nodemanager.resource.pcores-vcores-multiplier	虚拟核数和物理核数乘数，例如:4核心8线程,该参数应设置为2,默认1.0	1.0	强悍的cpu应该配置?
yarn.nodemanager.resource.memory-mb	NodeManager使用内存，默认8G	8192	根据实际物理内存调整
yarn.nodemanager.resource.system-reserved-memory-mb	NodeManager为系统保留多少内存,和NodeManager使用内存配置一个即可	-1	根据实际环境调整
yarn.nodemanager.resource.cpu-vcores	NodeManager使用CPU核数,默认8个	8	根据实际环境调整
yarn.nodemanager.pmem-check-enabled	是否开启物理内存检查限制container,默认打开	true	推荐打开，防止内存使用溢出
yarn.nodemanager.vmem-check-enabled	是否开启虚拟内存检查限制container,默认打开	true	推荐关闭，一些Linux系统对虚拟内存的分配可能导致问题
yarn.nodemanager.vmem-pmem-ratio	虚拟内存和物理内存的比例	2.1	根据实际环境调整

3.Container相关

配置参数	说明	默认值	备注
yarn.scheduler.minimum-allocation-mb	容器最小内存,默认1G	1024	根据实际环境调整
yarn.scheduler.maximum-allocation-mb	容器最大内存,默认8G	8192	根据实际环境调整
yarn.scheduler.minimum-allocation-vcores	容器最小cpu核数,默认1个	1	根据实际环境调整
yarn.scheduler.maximum-allocation-vcores	容器最大cpu核数,默认4个	4	根据实际环境调整