2023年1月7日
spark中的持久化机制以及lineage和checkpoint（简含源码解析）
摘要： spark相比MapReduce最大的优势是，spark是基于内存的计算模型，有的spark应用比较复杂，如果中间出错了，那么只能根据lineage从头开始计算，所以为了避免这种情况，spark提供了两种持久化算子，如果用术语回答，持久化的目的就是为了容错。 存储级别 spark贴心地提供了多种存储 阅读全文
posted @ 2023-01-07 02:44 不要给我歪！ 阅读(306) 评论(0) 推荐(0) 编辑