spark 词频统计

spark 词频统计

package com.imooc.bigdata.chapter02

import org.apache.spark.{SparkConf, SparkContext}

/**
  * 词频统计案例
  * 输入：文件
  * 需求：统计出文件中每个单词出现的次数
  * 1）读每一行数据
  * 2）按照分隔符把每一行的数据拆成单词
  * 3）每个单词赋上次数为1
  * 4）按照单词进行分发，然后统计单词出现的次数
  * 5）把结果输出到文件中
  * 输出：文件
  */
object SparkWordCountApp {

  /**
    * master: 运行模式，local
    *
    */
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local").setAppName("SparkWordCountApp")
    val sc = new SparkContext(sparkConf)


    // Spark特性：提供了80+高阶API
    val rdd = sc.textFile("E:\\06-work\\03-java\\01-JavaCodeDome\\SparkSqlCode\\sparksql-train\\data\\input.txt")

    /**
      * 结果按照单词的出现的个数的降序排列
      */

    rdd.flatMap(_.split(" ")).map(word => (word, 1))
      .reduceByKey(_+_).map(x => (x._2, x._1)).sortByKey(false)
        .map(x=> (x._2, x._1))
      .saveAsTextFile("E:\\06-work\\03-java\\01-JavaCodeDome\\SparkSqlCode\\sparksql-train\\data\\out")
      //.collect().foreach(println)

      //.sortByKey().collect().foreach(println)
        //.saveAsTextFile("file:///Users/rocky/IdeaProjects/imooc-workspace/sparksql-train/out")
      //.collect().foreach(println)

    //rdd.collect().foreach(println)

    sc.stop()
  }
}