摘要：
本课主题 Checkpoint 运行原理图 Checkpoint 源码解析 引言 Checkpoint 到底是什么和需要用 Checkpoint 解决什么问题： Checkpoint 运行原理图 [下图是 Checkpoint 运行原理图] Checkpoint 源码解析 參考資料 资料来源来至 D 阅读全文
摘要：
本课主题 Static MemoryManager 的源码鉴赏 Unified MemoryManager 的源码鉴赏 引言 从源码的角度了解 Spark 内存管理是怎么设计的，从而知道应该配置那个参数让程序运行更适合你的实际需要，我们为什么要把 Spark Memory 这块内存调大，原因很简单， 阅读全文
摘要：
本课主题 JVM 內存使用架构剖析 Spark 1.6.x 和 Spark 2.x 的 JVM 剖析 Spark 1.6.x 以前 on Yarn 计算内存使用案例 Spark Unified Memory 的运行原理和机制 引言 Spark 从1.6.x 开始对 JVM 的内存使用作出了一种全新的 阅读全文