如何保证消息的幂等性?(如何保证消息不被重复消费?)

消息重复消费,会造成数据混乱,特别是在涉及消费和财务系统里,此问题的解决显得尤为重要。

以kafka为例

关键字:消费端自动提交offset;写库或者redis时,先去查一下主键、key等是否存在

上图中,最顶上的文本框丢失的文字:并通知kafka当前最大offset;

最右边的文本框丢失的文字:数据传递过来;

幂等性,通俗来说,就是一个数据或者一个请求给你重复来多次,你得确保对应的数据是不会改变的,不能出错。

  例如二次消费的时候,自己判断一下,若已经消费过了,直接扔了,不就保留一条数据了吗

所以重复消费的解决方案是:

方法1,比如消费者拿数据是要写库的,先根据主键查一下,有就不插入或者update,否则就插入

方法2,比如消费者是要写redis,反正每次都是set,天然幂等性

方法3,生产者发送每条数据时,加一个全局的唯一id,类似订单id,到消费者消费的时候,先拿id去比如redis里查一下,之前若没消费过,就处理id写redis,若消费过,就不处理了,保证别重复消费相同 的消息即可;

方法4,或者基于数据库的唯一键来保证重复数据不会重复插入多条,跟方法1类似。

 

posted on 2020-02-28 15:54  黑子菜园  阅读(842)  评论(0编辑  收藏  举报

导航