pyspark union、intersection、subtract、cartesian用法

union、intersection、subtract、cartesian

?

1 2 3 4 5 6

rdd1 = sc.parallelize([1,2,4,5,2,3]) rdd2 = sc.parallelize([4,6,5,7,8,6]) rdd1.union(rdd2).collect(): 所有rdd1和rdd2中的item组合（并集），不去重 rdd1.intersection(rdd2).collect(): rdd1 和 rdd2的交集，并且去重 rdd1.subtract(rdd2).collect(): 所有在rdd1中但不在rdd2中的item（差集），不去重 rdd1.cartesian(rdd2).collect(): rdd1 和 rdd2中所有的元素笛卡尔乘积（正交和）