yarn resourcemanager调优
问题现象
在作业提交比较多的时候,集群资源还有剩余,但是分配跟不上,导致peeding比较多,peeding时间长达10分钟。
调优方法
1.开启批量分配资源功能,在小任务多的时候能提高吞吐量。
2.限制一次批量分配数量。默认没有限制,会导致节点计算资源不均衡,部分节点把所有的vcore都分配了,而部分节点一个也没分配。
3.关掉持续调度功能,这个功能在集群规模比较大(大于75个节点)的时候会影响resouremanager的性能,该功能在hadoop2.7以后已经废弃。
cdh官方建议
调优操作
调优效果
调优前,上午特别堵
调优后,上午部分队列资源有限制才堵,整体集群快速分配资源,单个任务peeding等待不超2分钟
持续调度相关说明