2018年8月21日
Spark Streaming消费Kafka Direct保存offset到Redis，实现数据零丢失和exactly once
摘要： 一、概述 上次写这篇文章文章的时候，Spark还是1.x，kafka还是0.8x版本，转眼间spark到了2.x，kafka也到了2.x，存储offset的方式也发生了改变，笔者根据上篇文章和网上文章，将offset存储到Redis，既保证了并发也保证了数据不丢失，经过测试，有效。 二、使用场景 S 阅读全文
posted @ 2018-08-21 16:23 ChouYarn 阅读(4370) 评论(1) 推荐(1) 编辑