spark 中如何查看单个RDD分区的内容(创建分区,查看分区数)
spark 创建分区
val scores = Array(("Fred", 88), ("Fred", 95), ("Fred", 91), ("Wilma", 93), ("Wilma", 95), ("Wilma", 98))
val input = sc.parallelize(scores,3) #这里创建了3个分区
查看分区数:
input.partitions.size
查看分区的内容和情况
input.glom().collect()