第五章_Spark核心编程_Rdd_转换算子_Value型_sample算子

目录

• 1. 定义

 

---

回到顶部

1. 定义

    /*
    * 1. 定义
    *       def sample(
    *         withReplacement: Boolean,
    *         fraction: Double,
    *         seed: Long = Utils.random.nextLong): RDD[T]
    *   withReplacement : 抽取数据后是否将数据返回 true（放回），false（丢弃）
    *   fraction(抽取的几率) : 如果抽取不放回的场合：数据源中每条数据被抽取的概率，基准值的概念
    *                        如果抽取放回的场合：表示数据源中的每条数据被抽取的可能次数
    *   seed(随机数种子) : 抽取数据时随机算法的种子
    *                    如果不传递第三个参数，那么使用的是当前系统时间
    *
    * 2. 功能
    *     根据指定的规则从数据集中抽取数据
    *
    * */

  object sampleTest extends App {

    val sparkconf: SparkConf = new SparkConf().setMaster("local").setAppName("groupByTest")

    val sc: SparkContext = new SparkContext(sparkconf)

    val rdd = sc.makeRDD(List(1, 2, 3, 4, 5, 6, 7, 8, 10, 100))

    private val rdd1: RDD[Int] = rdd.sample(true, 0.5)

    println(s"当前分区数 : ${rdd1.getNumPartitions}")

    println(rdd1.collect().mkString(","))

    sc.stop()

    /*
    * 执行结果
    *     当前分区数 : 2
          1,1,8,10
    *
    * */


  }