2020年1月3日
Jedis操作redis入门
摘要： package SparkStreaming import java.util import redis.clients.jedis.{Jedis, JedisPool, JedisPoolConfig} /** * Created by 古城小巷少年 on 2020-01-03 15:53 * j 阅读全文
posted @ 2020-01-03 16:25 Lucas_zhao 阅读(225) 评论(0) 推荐(0) 编辑
SparkStreaming以Direct的方式对接Kafka
摘要： package SparkStreaming import kafka.common.TopicAndPartition import kafka.message.MessageAndMetadata import kafka.serializer.StringDecoder import kafk 阅读全文
posted @ 2020-01-03 13:28 Lucas_zhao 阅读(852) 评论(0) 推荐(0) 编辑
SparkStreaming基于Receiver的方式对接Kafka
摘要： package SparkStreaming import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import org.apache.spark.streaming.kafka.KafkaUtils im 阅读全文
posted @ 2020-01-03 13:26 Lucas_zhao 阅读(320) 评论(0) 推荐(0) 编辑
spark-streaming对接kafka的两种方式
摘要： spark-streaming对接kafka有两种方式：1.基于receiver的方式，属于高级API，简单但是效率低，容易丢失数据（可以设置WAL）。它的原理是：receiver从kafka拉取数据存储到executor的内存中，spark-streaming启动job处理数据。偏移量保存在zoo 阅读全文
posted @ 2020-01-03 13:24 Lucas_zhao 阅读(947) 评论(0) 推荐(0) 编辑