摘要: YARN作为资源调度管理组件,对YARN的的优化主要呈现在CPU和内存两方面 1.内存篇 在YARN集群中,平衡内存,CPU和磁盘的资源是比较重要的.一般来说,每两个Container使用一块磁盘和一个CPU核可以是使资源得到比较充分的利用 对YARN而言的内存可用资源,是指在排除操作系统或其它应用 阅读全文
posted @ 2018-06-23 23:34 NightPxy 阅读(304) 评论(0) 推荐(0) 编辑
摘要: Yarn的资源调度策略 理想情况下,我们对Yarn的资源申请应该立即得到满足,但实际情况下整个集群的资源总量是有限的,这时就依赖资源调度器对资源进行调度了. 但在实际过程中,资源的调度策略本身就是一个难题,很难有一个完美的调度策略可以适用与所有的情况,为此Yarn提供了三种调度器让我们自行选择适用 阅读全文
posted @ 2018-06-23 23:32 NightPxy 阅读(1926) 评论(0) 推荐(0) 编辑