随笔分类 -  SparkStreaming

3_Spark Streaming DStream 及 算子
摘要：1. 什么是 DStream ？ 1. A Discretized Stream(一个离散化流) 2. Spark Streaming 中基本抽象 表示: 一系列 连续的 RDD 每个RDD包含 一段时间间隔(采集周期) 内的数据 3. 是一个抽象类,定义了 几个重要的属性 def slideDur 阅读全文
posted @ 2022-08-09 12:24 学而不思则罔！ 阅读(107) 评论(0) 推荐(0) 编辑
2_Spark Streaming 数据接收器
摘要：1. TCP Source import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.ReceiverInputDStream import org.apache.spark.streaming.{Seco 阅读全文
posted @ 2022-08-08 19:57 学而不思则罔！ 阅读(51) 评论(0) 推荐(0) 编辑
1_Spark Streaming 概述
摘要：1. Spark Streaming 是什么 ？ Spark Streaming 是 Spark Core 的扩展API 用来支持 高吞吐、高容错的 处理 流式数据 数据源可以是 : Kafka、TCP sockets、Flume、Twitter等流式数据源 处理数据: 可以用 Spark Core 阅读全文
posted @ 2022-08-08 19:48 学而不思则罔！ 阅读(27) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示