2020年3月30日
RDD的Cache、Persist、Checkpoint的区别和StorageLevel存储级别划分
摘要： 为了增强容错性和高可用，避免上游RDD被重复计算的大量时间开销，Spark RDD设计了包含多种存储级别的缓存和持久化机制，主要有三个概念：Cache、Persist、Checkout。 1、存储级别介绍（StorageLevel） 存储级别以一个枚举类StorageLevel定义，分为以下12种： 阅读全文
posted @ 2020-03-30 12:32 顿学累功 阅读(851) 评论(0) 推荐(0) 编辑