2022年5月30日
RDD 依赖关系
摘要： 1、血缘关系&依赖关系 RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 血缘关系 阅读全文
posted @ 2022-05-30 05:45 晓枫的春天 阅读(82) 评论(0) 推荐(0) 编辑