ES Full Gc是什么？怎么排查处理？

Elasticsearch 中的 Full GC（完全垃圾回收）是 Java 虚拟机（JVM）在运行时清理内存的一种机制。它会尝试释放所有未使用的对象，以便为新的对象分配内存。当 Full GC 发生时，整个应用程序会暂停，导致 Elasticsearch 的响应时间增加，甚至可能影响集群的可用性。

Full GC 的原因

1. 内存不足：当堆内存快要用尽时，JVM 会触发 Full GC 尝试释放内存。
2. 大对象分配：分配大对象可能导致频繁的 Full GC，因为 JVM 需要找到足够大的连续内存块来存储这些对象。
3. 内存泄漏：某些对象未被及时释放，导致内存不断增加。
4. 不合理的 JVM 配置：如堆内存设置过低，或 GC 策略不适合当前负载。

如何排查 Full GC

1. 监控和日志：

   • 开启 GC 日志：通过 JVM 参数 -Xlog:gc* 或 -verbose:gc 来记录 GC 活动。
   • 分析 GC 日志：查看 Full GC 的频率、持续时间以及内存使用情况。工具如 GCViewer 可以帮助分析 GC 日志。

2. 查看 Elasticsearch 性能指标：

   • 使用 Kibana 或其他监控工具，查看 Elasticsearch 的性能指标，如 CPU 使用率、内存使用情况、JVM 堆内存等。
   • 检查集群状态，确认是否有节点处于红色或黄色状态。

3. JVM Heap Dump：

   • 在 Full GC 发生时生成堆转储（Heap Dump），可使用 jmap 工具。
   • 通过分析堆转储，可以发现内存泄漏的根源或大对象的分配情况。

4. JVM 参数：

   • 检查当前的 JVM 参数配置，特别是与内存和 GC 相关的参数（如 -Xms, -Xmx, -XX:+UseG1GC 等）。
   • 确保堆内存大小适合你的工作负载，通常建议将最大堆大小设置为可用物理内存的 50% 到 75%。

处理 Full GC

1. 增大堆内存：

   • 根据监控数据和需求，适当调整 JVM 的堆内存大小，确保有足够的内存空间供应用使用。

2. 优化索引和查询：

   • 优化数据模型，避免创建过多的字段或过大的文档。
   • 定期清理过期数据，减少内存压力。

3. 调整 JVM GC 策略：

   • 选择适合的 GC 策略，例如 G1 GC 相对适合大型堆的应用。
   • 通过调优 GC 参数来改善性能，例如调整新生代和老年代的大小。

4. 监控和调整：

   • 持续监控 Elasticsearch 的性能，定期评估和调整配置，确保系统稳定。

5. 升级 Elasticsearch 和 JVM：

   • 考虑升级到最新版本的 Elasticsearch 和 JVM，以利用性能改进和 bug 修复。

总结

Full GC 是 Elasticsearch 性能瓶颈的重要指示，及时排查和处理可以显著提高系统的稳定性和响应速度。通过监控、分析和优化，可以有效减少 Full GC 的发生频率，提升系统的整体性能。