lineage 世系 血缘 容错机制 DAG

 

当某个RDD的部分数据丢失时候，Saprk会根据记录的世系关系找到该RDD的父RDD以及更上级的RDD。只需要将该RDD依赖的上级RDD重新计算就可以将该RDD进行恢复。

 

Directed Acyclic Graph DAG  

RDD  的有向无环图构建过程，就是不停将Spark代码中刚一系列的RDD转化操作以世系关系的形式记录下来。