2020年11月13日
spark内存管理这一篇就够了
摘要： 1. 堆内和堆外内存规划 1.1 堆内内存 堆内内存的大小，由 Spark 应用程序启动时的 –executor-memory 或 spark.executor.memory 参数配置。Executor 内运行的并发任务共享 JVM 堆内内存，这些任务在缓存 RDD 数据和广播（Broadcast） 阅读全文
posted @ 2020-11-13 22:04 skaarl 阅读(1331) 评论(2) 推荐(1) 编辑