2019年6月23日
spark 缓存操作(cache checkpoint)与分区
摘要： spark cache: 1,cache 方法不是被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用 2, cache 是调用的 persist() 默认情况下 persist() 会把数据以序列化的形式缓存在 JVM 的堆空间中 3,cache 默认的存储级别都是仅在内存存储一份，Spark的存储级别还有好多种，存储级别在obje... 阅读全文
posted @ 2019-06-23 19:27 十七楼的羊 阅读(3113) 评论(0) 推荐(0) 编辑