摘要: why kafka offset not sequential 未使用事务时,至少一次语义,消息重发时,会占用offset 使用事务时,每次事务的commit/abort,都会往topic(每个分区?)写一个标志,这个标志会占用offset 官方并未提及offset是连续的 Reference [S 阅读全文
posted @ 2022-05-30 16:09 duanguyuan 阅读(530) 评论(0) 推荐(0) 编辑
摘要: 简介 Apach Kafka 是一款分布式流处理框架,用于实时构建流处理应用。它有一个核心的功能广为人知,即作为企业级的消息引擎被广泛使用。 很多主流消息引擎系统都支持 JMS(Java Message Service)规范,比如 ActiveMQ、RabbitMQ、IBM 的 WebSphere 阅读全文
posted @ 2022-05-30 16:03 duanguyuan 阅读(231) 评论(0) 推荐(0) 编辑
摘要: Kafka的事务是什么 生产者往多个topic里面写消息,要么同时成功,要么同时失败。 为什么需要事务 消息系统有3种语义: 最多一次 最少一次 精确一次。Exactly Only Once 为了实现精确一次的语义,Kafka必须引入事务。如下图: 本应用从上游topic消费消息,处理后发到下游to 阅读全文
posted @ 2022-05-30 16:03 duanguyuan 阅读(216) 评论(0) 推荐(0) 编辑