摘要: 端到端精确一次(end-to-end exactly-once) 实际应用中,最难做到、也最希望做到的一致性语义,无疑就是端到端(end-to-end)的“精确一次”(exactly-once)。对于Flink内部来说,检查点机制可以保证故障恢复后数据不丢(在能够重放的前提下),并且只处理一次,所以 阅读全文
posted @ 2023-02-21 22:19 坤坤呀 阅读(901) 评论(0) 推荐(1) 编辑
摘要: 状态一致性 之前说到检查点又叫作“一致性检查点”,是Flink容错机制的核心。接下来就对状态一致性的概念进行说明,结合理论和实际应用场景,讨论Flink流式处理架构中的应对机制。 一、一致性的概念和级别 在分布式系统中,一致性(consistency)是一个非常重要的概念;在事务(transacti 阅读全文
posted @ 2023-02-21 22:01 坤坤呀 阅读(112) 评论(0) 推荐(0) 编辑