摘要：
一、背景 腾讯Flink使用 KafkaSource API创建source端，源码中默认开启了checkpoint的时候提交offset 到kafka-broker。读取kafka数据写入到iceberg 目前发现一个问题，就是消费数据的时候，消费一段时间后，kafka-group的 offset 阅读全文
摘要：
Apache Flink 的 Change Data Capture (CDC) 功能主要用于实时捕获数据库中的变更记录，并将其转换为事件流以供下游处理。为了保证全量和增量数据同步时数据的一致性、不丢失和不重复读取，Flink CDC 采用了以下策略： 一、保证一致性与不丢失 1、使用事务 当进行全 阅读全文
摘要：
为了防止消息重复消费导致业务处理异常，消息队列RocketMQ版的消费者在接收到消息后，有必要根据业务上的唯一Key对消息做幂等处理。本文介绍消息幂等的概念、适用场景以及处理方法。 什么是消息幂等 当出现消费者对某条消息重复消费的情况时，重复消费的结果与消费一次的结果是相同的，并且多次消费并未对业务 阅读全文