摘要: union、intersection subtract 都是transformation 算子 1、union 合并2个数据集,2个数据集的类型要求一致,返回的新RDD的分区数是合并RDD分区数的总和; val kzc=spark.sparkContext.parallelize(List(("hi 阅读全文
posted @ 2021-01-05 17:37 bioamin 阅读(114) 评论(0) 推荐(0) 编辑
摘要: join,leftOuterJoin,rightOuterJoin,fullOuterJoin 都是transformation类别的算子 作用在K,V格式的RDD上。根据K进行连接,对(K,V)join(K,W)返回(K,(V,W)) join后的分区数是多的那个的分区 join val kzc= 阅读全文
posted @ 2021-01-05 17:13 bioamin 阅读(387) 评论(0) 推荐(0) 编辑