摘要: Partition List 分片列表, 记录 RDD 的分片, 可以在创建 RDD 的时候指定分区数目, 也可以通过算子来生成新的 RDD 从而改变分区数目 Compute Function 为了实现容错, 需要记录 RDD 之间转换所执行的计算函数 RDD Dependencies RDD 之间 阅读全文
posted @ 2021-11-06 17:42 胜天、半子 阅读(417) 评论(0) 推荐(0) 编辑
摘要: 执行 RDD 的时候, 在执行到转换操作的时候, 并不会立刻执行, 直到遇见了 Action 操作, 才会触发真正的执行, 这个特点叫做 惰性求值 阅读全文
posted @ 2021-11-06 17:37 胜天、半子 阅读(148) 评论(0) 推荐(0) 编辑