2018年9月17日
spark内存管理分析
摘要： 前言 下面的分析基于对spark2.1.0版本的分析，对于1.x的版本可以有区别。 内存配置 key 默认 解释 spark.memory.fraction 0.6 spark可以直接使用的内存大小系数 spark.memory.storageFraction 0.5 spark存储可以直接使用的内 阅读全文
posted @ 2018-09-17 09:18 ulysses_you 阅读(1751) 评论(0) 推荐(0) 编辑