Elasticsearch调优篇 10 - elasticsearch为什么只能分配最大内存32G

  不分配大内存给 Elasticsearch,事实上 jvm 在内存 < 32G 的时候会采用一个:内存对象指针压缩技术

  需要明白:不一定是 32GB,一般 linux 系统上都是介于 (31, 32),所以为了安全起见我们统一都可以设置为 31GB。

  在 java 中,所有的对象都分配在堆上,然后有一个指针引用它。指向这些对象的指针大小通常是CPU的字长大小,不是 32bit 就是 64bit,这取决于你的处理器,指针指向了你的值的精确位置。

  对于32位系统,内存最大可使用4G。

  64系统可以使用更大的内存。但是64位的指针意味着更大的浪费,因为你的指针本身大了。浪费内存不算,更糟糕的是,更大的指针在主内存 和 缓存器之间移动数据的时候,会占用更多的带宽。

  java 使用一个叫内存指针压缩的技术来解决这个问题。

  它的指针不再表示对象在内存中的精确位置,而是表示偏移量这意味着32位的指针可以引用40亿个对象,而不是40亿个字节。最终,也就是说堆内存长到32G的物理内存,也可以用 32bit 的指针表示。

  一旦你越过那个神奇的 30-32G 的边界,指针就会切回普通对象的指针,每个对象的指针都变长了,就会使用更多的 CPU、内存、带宽,也就是说你实际上失去了更多的内存。

  事实上当内存到达40-50GB的时候,有效内存才相当于使用内存对象指针压缩技术时候的32G内存。

  结论就是:即便你有足够的内存,也尽量不要超过32G,因为它浪费了内存,降低了CPU的性能,还要让GC应对大内存。

posted @ 2020-06-28 16:22  星火燎原智勇  阅读(1150)  评论(0编辑  收藏  举报