2018年12月15日

kafka系列九、kafka事务原理、事务API和使用场景

摘要： 一、事务场景 二、几个关键概念和推导 1.因为producer发送消息可能是分布式事务，所以引入了常用的2PC，所以有事务协调者(Transaction Coordinator)。Transaction Coordinator和之前为了解决脑裂和惊群问题引入的Group Coordinator在选举 阅读全文

posted @ 2018-12-15 23:52 小人物的奋斗 阅读(24076) 评论(0) 推荐(4) 编辑

kafka系列八、kafka消息重复和丢失的场景及解决方案分析

摘要： 消息重复和丢失是kafka中很常见的问题，主要发生在以下三个阶段： 一、生产者阶段重复场景 1、根本原因 生产发送的消息没有收到正确的broke响应，导致producer重试。 producer发出一条消息，broke落盘以后因为网络等种种原因发送端得到一个发送失败的响应或者网络中断，然后produ 阅读全文

posted @ 2018-12-15 19:00 小人物的奋斗 阅读(13972) 评论(0) 推荐(5) 编辑

导航