yarn.nodemanager.vmem-pmem-ratio的通俗解释(转载)
关于yarn.nodemanager.vmem-pmem-ratio的通俗解释
这个东西就是虚拟内存,扯皮起来的话,要回到上古时代x86系统,那个年代内存超级贵,于是从硬盘借用空间,模拟出一个内存空间,所以称为虚拟内存。
这里的ratio是啥意思呢?
因为虚拟内存的性能比真实性能差一些,所以yarn-site.xml中有这个的变量的意思是:
在物理内存不够用的情况下,如果占用了大量虚拟内存并且超过了一定阈值,那么就认为当前集群的性能比较差,直接让你的终端报个错提醒你。
spark中的虚拟内存和操作系统中的虚拟内存是不是一个东西?
答案:是的