spark streamming的有状态计算

用spark streamming统计单词数量时，reduceBykey只会统计局部的单词数量，每个batch的每个单词的数量，而不能统计每个key所有value值。

所以想要统计全局key的value值，就必须加入有状态计算updataStatusBykey,更新每一个key的状态。

在计算单词数量前，对spark streamming做checkpoint操作，目的时把之前batch的计算结果保存在checkpoint目录中。

object Demo02updataStateByKey {
  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setAppName("Demo02updataStateByKey").setMaster("local[2]")

    val sc = new SparkContext(conf)


    val ssc = new StreamingContext(sc, Durations.seconds(6))

//    设置checkpoint的路径,hdfs路径
    ssc.checkpoint("/spark/data/wc")

    //    创建实时DStream
    val linesDS: DStream[String] = ssc.socketTextStream("master", 8888)

    val kvDS: DStream[(String, Int)] = linesDS
      .flatMap(_.split(","))
      .map((_, 1))

    /**
      * 有状态计算
      * reduceByKey 只能进行局部统计
      *
      * 使用updataStateByKey  更新每一个key的状态
      *
      */

    def updataValue(seq: Seq[Int], count: Option[Int]): Option[Int] = {
      //获取之前统计的结果
      val last = count.getOrElse(0)
      //获取当前batch单词取得的结果
      val now = seq.sum

      //更新之后的状态
      Option(now + last)
    }

    //  累加统计单词数量
    val countDS: DStream[(String, Int)] = kvDS.updateStateByKey(updataValue)

    countDS.print()

    ssc.start()
    ssc.awaitTermination()
    ssc.stop()
  }
}