yarn resourcemanager调优

问题现象

在作业提交比较多的时候,集群资源还有剩余,但是分配跟不上,导致peeding比较多,peeding时间长达10分钟。
在这里插入图片描述

调优方法

1.开启批量分配资源功能,在小任务多的时候能提高吞吐量。

2.限制一次批量分配数量。默认没有限制,会导致节点计算资源不均衡,部分节点把所有的vcore都分配了,而部分节点一个也没分配。

3.关掉持续调度功能,这个功能在集群规模比较大(大于75个节点)的时候会影响resouremanager的性能,该功能在hadoop2.7以后已经废弃。

在这里插入图片描述

cdh官方建议

在这里插入图片描述

调优操作
在这里插入图片描述

调优效果
调优前,上午特别堵

在这里插入图片描述

调优后,上午部分队列资源有限制才堵,整体集群快速分配资源,单个任务peeding等待不超2分钟

在这里插入图片描述

持续调度相关说明

https://blog.csdn.net/zhanyuanlin/article/details/78799131

posted @ 2021-03-29 16:14  彬在俊  阅读(174)  评论(0编辑  收藏  举报