Spark实现分组TopN

一.概述

　　在许多数据中，都存在类别的数据，在一些功能中需要根据类别分别获取前几或后几的数据，用于数据可视化或异常数据预警。在这种情况下，实现分组TopN就显得非常重要了，因此，使用了Spark聚合函数和排序算法实现了分布式TopN计算功能。

　　

二.代码实现

package scala

import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.types.{StringType, StructField, StructType}
import org.apache.spark.sql.{Row, SparkSession}

/**
  * 计算分组topN
  * Created by Administrator on 2019/11/20.
  */
object GroupTopN {
  Logger.getLogger("org").setLevel(Level.WARN) // 设置日志级别
  def main(args: Array[String]) {
    //创建测试数据
    val test_data = Array("CJ20191120,201911", "CJ20191120,201910", "CJ20191105,201910", "CJ20191105,201909", "CJ20191111,201910")
    val spark = SparkSession.builder().appName("GroupTopN").master("local[2]").getOrCreate()
    val sc = spark.sparkContext
    val test_data_rdd = sc.parallelize(test_data).map(row => {
      val Array(scene, cycle) = row.split(",")
      Row(scene, cycle)
    })
    // 设置数据模式
    val structType = StructType(Array(
      StructField("scene", StringType, true),
      StructField("cycle", StringType, true)
    ))
    // 转换为df
    val test_data_df = spark.createDataFrame(test_data_rdd, structType)
    test_data_df.createOrReplaceTempView("test_data_df")
    // 拼接周期
    val scene_ws = spark.sql("select scene,concat_ws(',',collect_set(cycle)) as cycles from test_data_df group by scene")
    scene_ws.count()
    scene_ws.show()
    scene_ws.createOrReplaceTempView("scene_ws")
    /**
      * 定义参数确定N的大小，暂定为1
      */
    val sum = 1
    // 创建广播变量，把N的大小广播出去
    val broadcast = sc.broadcast(sum)
    /**
      * 定义Udf实现获取组内的前N个数据
      */
    spark.udf.register("getTopN", (cycles : String) => {
      val sum = broadcast.value
      var mid = ""
      if(cycles.contains(",")){ // 多值
        val cycle = cycles.split(",").sorted.reverse // 降序排序
        val min = Math.min(cycle.length, sum)
        for(i <- 0 until min){
          if(mid.equals("")){
            mid = cycle(i)
          }else{
            mid += "," + cycle(i)
          }
        }
      }else{ // 单值
        mid = cycles
      }
      mid
    })

    val result = spark.sql("select scene,getTopN(cycles) cycles from scene_ws")
    result.show()
    spark.stop()
  }
}

三.结果

　　

　　

四.备注

　　当N大于1时，多个数据会拼接在一起，若想每个一行，可是使用使用列转行功能，参考我的博客：https://www.cnblogs.com/yszd/p/11266552.html