2022年3月13日
DStream、RDD、DataFrame 的相互转换、spark 比 MapReduce 快的原因
摘要： DStream、RDD、DataFrame 的相互转换 DStream → RDD → DataFrame package com.shujia.stream import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD i 阅读全文
posted @ 2022-03-13 15:18 赤兔胭脂小吕布 阅读(263) 评论(0) 推荐(0) 编辑
有状态算子、滑动窗口和滚动窗口
摘要： 有状态算子 之前我们在运行 Spark Streaming 的时候发现微批处理之中，每一个批次都是相对独立的 如何让其能够产生累加的效果呢？ package com.shujia.stream import org.apache.spark.streaming.dstream.{DStream, R 阅读全文
posted @ 2022-03-13 14:24 赤兔胭脂小吕布 阅读(146) 评论(0) 推荐(0) 编辑
Spark Streaming、离线计算、实时计算、实时查询、Spark Streaming 原理、Spark Streaming WordCount、Spark Streaming 架构图
摘要： Spark Streaming spark 中 最重要的就是 spark core 和 spark sql (也就是之前笔记的内容) 离线计算、实时计算、实时查询 Spark Streaming 原理 Spark Streaming WordCount 1、导入依赖 <dependency> <gr 阅读全文
posted @ 2022-03-13 00:33 赤兔胭脂小吕布 阅读(318) 评论(0) 推荐(0) 编辑