YARN基本配置-物理资源分配设置

　　　　　　　　　　　YARN基本配置-物理资源分配设置

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

 

 

　　折腾了一个星期，终于让开发将数据跑起来了，可通过yarn的webUI界面，发现这里的核心数和内存都对应不上，相差的太远了，我的服务器都是32core，128G内存，12*8T的硬盘。理论上的集群可以用的内存应该接近2T。可是我发信内存只有四分之一。

 　　接下来，我们可以通过这个界面获取一些信息，如下图，点击“about”，可以看到有18个节点（20台机器，2gNN节点，18个DN节点）

　　点击上面的按钮，我们可以查看到18个几点的详细信息，因此我们可以一目了然的看出来我的集群配置如下：

 　　接下来我们去CM上查看一个配置参数：yarn.scheduler.maximum-allocation-mb，这个参数是：可为容器请求的最大物理内存数量

 　　于是，我修改了上面的值，将其改为64G，如下图，点击保存并重启yarn服务

 　　按照上述配置修改后，发现依旧不对，如下图：

 　　紧接着，我有修改了yarn.nodemanager.resource.memory-mb这个值，它是值可分配的物理内存数量，这个值在我的集群中国貌似默认就是30G和上图中的30G很像呢，如下图：

　　我将上面的值修改成64G，保存并重启了yarn服务，如下图：

 　　修改后，我们在查看webUI这个值是否有变化，果真，这次就很好使了。

 　　关于memory的调餐我知道在哪调试了，由于我的节点都是128G内存（实际就125G内存），因此我将上面的值改为104G，给操作系统预留了24G，到周一了，开发说Core数应该虚拟出来，这个时候没辙啊，只能接着修改core的数来，而我没台机器仅有32个core，如果想要在webUI将这个参数调大，可以通过调大“yarn.nodemanager.resource.cpu-vcores”参数的值。

　　修改过后，我们可以看到webUI的core 总的总数也在发生着吧变化，如下图：