ContextCleaner ——Spark 应用程序的垃圾回收器
摘要：
ContextCleaner是一个Spark服务，负责在应用程序范围内清除 shuffles, RDDs, broadcasts, accumulators和checkpointed RDDs，目的是减少长时间运行的数据密集型Spark应用程序的内存需求。 ContextCleaner在驱动程序上运 阅读全文
posted @ 2019-10-21 11:21 herman很慢 阅读(587) 评论(0) 推荐(0) 编辑