2018年5月7日
spark checkpoint详解
摘要： checkpoint在spark中主要有两块应用：一块是在spark core中对RDD做checkpoint，可以切断做checkpoint RDD的依赖关系，将RDD数据保存到可靠存储（如HDFS）以便数据恢复；另外一块是应用在spark streaming中，使用checkpoint用来保存D 阅读全文
posted @ 2018-05-07 20:40 超级核弹头 阅读(18131) 评论(3) 推荐(0) 编辑