会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
金色的鱼儿
博客园
首页
新随笔
联系
订阅
管理
2021年1月20日
SparkStreaming Kafka 维护offset
摘要: 文章目录 Kafka itself own data store for MySql own data store for Redis 生产SparkStreaming数据零丢失实验 SparkStreaming Kafka 维护offset 官网有三种实现方式 Checkpoints Kafka
阅读全文
posted @ 2021-01-20 18:54 金色的鱼儿
阅读(638)
评论(0)
推荐(0)
编辑
【容错篇】Spark Streaming的还原药水——Checkpoint
摘要: 一个 Streaming Application 往往需要7*24不间断的跑,所以需要有抵御意外的能力(比如机器或者系统挂掉,JVM crash等)。为了让这成为可能,Spark Streaming需要 checkpoint 足够多信息至一个具有容错设计的存储系统才能让 Application 从失
阅读全文
posted @ 2021-01-20 18:42 金色的鱼儿
阅读(324)
评论(0)
推荐(0)
编辑
干货 | Spark Streaming 和 Flink 详细对比
摘要: 干货 | Spark Streaming 和 Flink 详细对比 https://mp.weixin.qq.com/s/Fb1cW0oN7xYeb1oI2ixtgQ
阅读全文
posted @ 2021-01-20 18:18 金色的鱼儿
阅读(496)
评论(0)
推荐(0)
编辑
持续集成与自动化部署 - jenkins与sonar、gitlab集成 (六)
摘要: 持续集成与自动化部署 - jenkins与sonar、gitlab集成 (六)
阅读全文
posted @ 2021-01-20 16:03 金色的鱼儿
阅读(112)
评论(0)
推荐(0)
编辑
安装和使用GitLab
摘要: 安装和使用GitLab
阅读全文
posted @ 2021-01-20 16:02 金色的鱼儿
阅读(82)
评论(0)
推荐(0)
编辑
公告