RDD 宽窄依赖

RDD之间有一系列的依赖关系,依赖关系又分为窄依赖和宽依赖

  • 窄依赖,不会有shuffle的产生

    • 父RDD和子RDD partition关系是一对一的

    • 父RDD和子RDD partition关系是多对一的

  • 宽依赖,会有shuffle的产生

    • 父RDD与子RDD partition之间的数据关系是一对多

posted @ 2019-07-21 16:43  北漂屌丝  阅读(120)  评论(0编辑  收藏  举报