spark小案例实战3(scala + spark2 版本)
需求:
对每个班级内的学生成绩,取出前3名。(分组取topn)
实现步骤:
- 遍历每组,获取每组的成绩
- 将一组成绩转换成一个数组缓冲
- 将数组缓冲按从大到小排序
- 对排序后的数组缓冲取其前三
- 打印输出
object GroupTop3 { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().appName("GroupTop3").master("local").getOrCreate() //创建初始RDD val lines = spark.sparkContext.textFile("D:\\score.txt") //对初始RDD的文本行按空格分割,映射为key-value键值对 val pairs = lines.map(line => (line.split(" ")(0), line.split(" ")(1).toInt)) //对pairs键值对按键分组 val groupedPairs = pairs.groupByKey() //获取分组后每组前3的成绩 val top3Score = groupedPairs.map(classScores => { var className = classScores._1 //获取每组的成绩,将其转换成一个数组缓冲,并按从大到小排序,取其前三 var top3 = classScores._2.toBuffer.sortWith(_>_).take(3) Tuple2(className,top3) }) top3Score.foreach(m => { println(m._1) for(s <- m._2) println(s) println("------------------") }) }