RDD之间有一系列的依赖关系,依赖关系又分为窄依赖和宽依赖
窄依赖,不会有shuffle的产生
父RDD和子RDD partition关系是一对一的
父RDD和子RDD partition关系是多对一的
宽依赖,会有shuffle的产生
父RDD与子RDD partition之间的数据关系是一对多