2019年12月21日

Spark两种内存管理

摘要: Spark动态内存管理 Spark 1.6 后改为动态内存管理(如果想启用静态内存管理,方法下面会介绍),启动动态主要体现在 存储内存和执行内存的动态。 动态内存管理内存中分为两大块和预留内存 用于用户数据结构和spark 元数据 的内存,默认占用整个内存的0.4 用于执行task 和 数据存储的内 阅读全文

posted @ 2019-12-21 15:59 chouc 阅读(549) 评论(0) 推荐(0) 编辑

导航