2020年4月6日
RDD的三个机制
摘要： 1.血统机制 RDD只支持粗粒度转换，即只记录单个块上执行的单个操作。将创建RDD的一系列Lineage（即血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 RDD与RDD 阅读全文
posted @ 2020-04-06 16:28 mls12 阅读(732) 评论(0) 推荐(0) 编辑