第五章_Spark核心编程_Rdd_转换算子_Value型_filter

目录

• 1. 定义
• 需求 : 从服务器日志数据apache.log中获取2015年5月17日的请求路径

 

---

回到顶部

1. 定义

    /*
    * 1. 定义
    *     def filter(f: T => Boolean): RDD[T]
    *
    * 2. 功能
    *     根据 传输函数 对Rdd元素进行过滤,剔除不符合条件的元素
    *
    * 3. note
    *     1. 当数据进行筛选过滤后,分区不变,但是分区内的数据可能不均衡,生产环境下,可能会出 现数据倾斜
    * */

  object filterTest extends App {
    /*
    * 1. 定义
    *     def filter(f: T => Boolean): RDD[T]
    *
    * 2. 功能
    *     根据 传输函数 对Rdd元素进行过滤,剔除不符合条件的元素
    *
    * 3. note
    *     1. 当数据进行筛选过滤后,分区不变,但是分区内的数据可能不均衡,生产环境下,可能会出 现数据倾斜
    * */

    val sparkconf: SparkConf = new SparkConf().setMaster("local").setAppName("groupByTest")

    val sc: SparkContext = new SparkContext(sparkconf)

    val rdd = sc.makeRDD(List(-1, -2, -13, 14, 3, 4, 6, 1, 10, 100), 2)

    //过滤 Rdd中的负数
    private val rdd1: RDD[Int] = rdd.filter(_ > 0)

    println(s"当前分区数 : ${rdd1.getNumPartitions}")

    println(rdd1.collect().mkString(","))

    sc.stop()

    /*
    * 执行结果
    *     当前分区数 : 2
          14,3,4,6,1,10,100
    *
    * */


  }

回到顶部

需求 : 从服务器日志数据apache.log中获取2015年5月17日的请求路径

  object filterTest1 extends App {
    val sparkconf: SparkConf = new SparkConf().setMaster("local").setAppName("groupByTest")

    val sc: SparkContext = new SparkContext(sparkconf)

    val rdd = sc.textFile("Spark_319/src/data/input/apache.log")

    // 获取 2015年5月17日 日志记录
    private val rdd1: RDD[String] = rdd.filter(
      _.split(" ")(3).split(":")(0) == "17/05/2015"
    )

    // 获取路径
    private val rdd2: RDD[String] = rdd1.map(_.split(" ").reverse(0))

    println(s"当前分区数 : ${rdd2.getNumPartitions}")

    rdd2.collect().foreach(println(_))

    sc.stop()

  }