摘要: 1 package com.it.baizhan.scalacode.Streaming 2 3 import org.apache.kafka.clients.consumer.ConsumerRecord 4 import org.apache.kafka.common.serializatio 阅读全文
posted @ 2021-04-20 15:01 大数据程序员 阅读(244) 评论(0) 推荐(0) 编辑
摘要: 1 package com.it.baizhan.scalacode.Streaming 2 3 import java.text.SimpleDateFormat 4 import java.util.{Date, Properties} 5 6 import org.apache.kafka.c 阅读全文
posted @ 2021-04-20 14:27 大数据程序员 阅读(513) 评论(0) 推荐(0) 编辑
摘要: 1 package com.it.baizhan.scalacode.Streaming 2 3 import java.util 4 5 import org.apache.kafka.clients.consumer.ConsumerRecord 6 import org.apache.kafk 阅读全文
posted @ 2021-04-20 14:13 大数据程序员 阅读(331) 评论(0) 推荐(0) 编辑
摘要: 前言 DStream上的操作与RDD的类似,分为Transformations(转换)和Output Operations(输出)两种,此外转换操作中还有一些比较特殊的操作,如:updateStateByKey()、transform()以及各种Window相关的操作。 1. Transformat 阅读全文
posted @ 2021-04-20 09:50 大数据程序员 阅读(126) 评论(0) 推荐(0) 编辑
摘要: SparkStreaming 是流式处理框架,是 Spark API 的扩展,支持可扩展、高吞吐量、容错的实时数据流处理,实时数据的来源可以是:Kafka, Flume,Twitter, ZeroMQ 或者 TCP sockets,并且可以使用高级功能的复杂算子来处理流数据。例如:map,reduc 阅读全文
posted @ 2021-04-20 09:17 大数据程序员 阅读(306) 评论(0) 推荐(0) 编辑