YARN 集群的资源分配

YARN 集群在分配任务时,存在两种方式

1. DefaultResourceCalculator,只考虑内存(memory),每个 container 的 cpu 资源都分配 1 个。

2. DominantResourceCalculator,同时考虑内存(memory)和 cpu 资源。

在 AWS 的 EMR 中,默认使用的是 DefaultResourceCalculator,所以看到一个 application 的 running containers 数量等于 allocated CPU Vcores 数量,可根据自己的需求设置。

更常用的是 DominantResourceCalculator

 

参考文章:

https://hortonworks.com/blog/managing-cpu-resources-in-your-hadoop-yarn-clusters/

https://lists.apache.org/thread.html/%3CCACj_Czdski0xp8tP5U4Ydai-XqHrMsOV24-_HA+jVGXb2Of3cw@mail.gmail.com%3E

 

posted @ 2019-02-12 22:38  徐软件  阅读(1376)  评论(0编辑  收藏  举报