2021年1月20日

SparkStreaming Kafka 维护offset

摘要：文章目录 Kafka itself own data store for MySql own data store for Redis 生产SparkStreaming数据零丢失实验 SparkStreaming Kafka 维护offset 官网有三种实现方式 Checkpoints Kafka 阅读全文

posted @ 2021-01-20 18:54 金色的鱼儿阅读(648) 评论(0) 推荐(0) 编辑

【容错篇】Spark Streaming的还原药水——Checkpoint

摘要：一个 Streaming Application 往往需要7*24不间断的跑，所以需要有抵御意外的能力（比如机器或者系统挂掉，JVM crash等）。为了让这成为可能，Spark Streaming需要 checkpoint 足够多信息至一个具有容错设计的存储系统才能让 Application 从失阅读全文

posted @ 2021-01-20 18:42 金色的鱼儿阅读(348) 评论(0) 推荐(0) 编辑

干货 | Spark Streaming 和 Flink 详细对比

摘要：干货 | Spark Streaming 和 Flink 详细对比 https://mp.weixin.qq.com/s/Fb1cW0oN7xYeb1oI2ixtgQ 阅读全文

posted @ 2021-01-20 18:18 金色的鱼儿阅读(506) 评论(0) 推荐(0) 编辑

持续集成与自动化部署 - jenkins与sonar、gitlab集成（六）

摘要：持续集成与自动化部署 - jenkins与sonar、gitlab集成（六）阅读全文

posted @ 2021-01-20 16:03 金色的鱼儿阅读(112) 评论(0) 推荐(0) 编辑

安装和使用GitLab

摘要：安装和使用GitLab 阅读全文

posted @ 2021-01-20 16:02 金色的鱼儿阅读(82) 评论(0) 推荐(0) 编辑

2021年1月20日

公告