2020年2月3日
Spark的存储级别
摘要： 存储模块存储级别意义NONE不会保存任何的数据DISK_ONLY直接将RDD的Partition保存在该节点的Disk上MEMORY_ONLY将RDD的Partition对应的原生的java object对象保存在JVM中。如果RDD太大，导致部分Partition无法保存在内存中的话，那么这些Partition将不会被缓存，在需要的时候，会被重新计算。这是默认的存储级别。MEMORY_ONLY_... 阅读全文
posted @ 2020-02-03 15:38 郭小白 阅读(2505) 评论(0) 推荐(0) 编辑