spark 中如何查看单个RDD分区的内容(创建分区,查看分区数)

spark 创建分区

val scores = Array(("Fred", 88), ("Fred", 95), ("Fred", 91), ("Wilma", 93), ("Wilma", 95), ("Wilma", 98))

val input = sc.parallelize(scores,3)   #这里创建了3个分区

查看分区数:

input.partitions.size

 

查看分区的内容和情况

input.glom().collect()

posted on 2018-09-29 11:53  一只猪儿虫  阅读(1317)  评论(0编辑  收藏  举报