摘要:
1 package com.it.baizhan.scalacode.Streaming 2 3 import org.apache.kafka.clients.consumer.ConsumerRecord 4 import org.apache.kafka.common.serializatio 阅读全文
摘要:
1 package com.it.baizhan.scalacode.Streaming 2 3 import java.text.SimpleDateFormat 4 import java.util.{Date, Properties} 5 6 import org.apache.kafka.c 阅读全文
摘要:
1 package com.it.baizhan.scalacode.Streaming 2 3 import java.util 4 5 import org.apache.kafka.clients.consumer.ConsumerRecord 6 import org.apache.kafk 阅读全文
摘要:
前言 DStream上的操作与RDD的类似,分为Transformations(转换)和Output Operations(输出)两种,此外转换操作中还有一些比较特殊的操作,如:updateStateByKey()、transform()以及各种Window相关的操作。 1. Transformat 阅读全文
摘要:
SparkStreaming 是流式处理框架,是 Spark API 的扩展,支持可扩展、高吞吐量、容错的实时数据流处理,实时数据的来源可以是:Kafka, Flume,Twitter, ZeroMQ 或者 TCP sockets,并且可以使用高级功能的复杂算子来处理流数据。例如:map,reduc 阅读全文