第五章_Spark核心编程_Rdd_行动算子_collect

目录

• 1.定义
• 2. 示例

 

---

回到顶部

1.定义

  /*
* 1.定义
*     def collect(): Array[T]
* 2.功能
*     拉取 Rdd所有的元素到 Driver上 存储到数组上
* 3.note
*     1.当 Rdd元素数据量很到时,可能导致Driver 内存溢出
*
* */

回到顶部

2. 示例

  object collectTest extends App {

    val sparkconf: SparkConf = new SparkConf().setMaster("local").setAppName("distinctTest")

    val sc: SparkContext = new SparkContext(sparkconf)

    private val rdd: RDD[Int] = sc.makeRDD(List(8, 2, 4, 2), 4)

    private val result: Array[Int] = rdd.collect()

    println(result.mkString(","))

    sc.stop()
  }