RocketMQ如何保证队列完全顺序消费

在知乎看到了这个问题,总结下(发现某乎社会热点问题讨论没法看,专业知识问题老哥们答得可是很ok)

首先,根据RocketMQ的存储机制,RocketMQ是支持顺序消费的。但这个顺序,不是全局顺序,只是分区(Message Queue)顺序。要全局顺序只能一个分区(Message Queue)。

接下来,我们从生产者和消费者两方面的逻辑来考虑这个问题。

Consumer

消费消息的顺序要同发送消息的顺序一致。由于 Consumer 消费消息的时候是针对 Message Queue 顺序拉取并开始消费,且一条 Message Queue 只会给一个消费者(集群模式下)(一个Topic的多个队列分配给一个group,然后group的多个消费者各自分到队列进行消费,默认平均分配),所以能够保证同一个消费者实例对于 Queue 上消息的消费是顺序地开始消费(不一定顺序消费完成,因为消费可能并行)。

Producer

发送消息的时候,消息发送默认是会采用轮询的方式发送到不同的queue,需要的话生产者发送的时候可以用 MessageQueueSelector 为某一批消息(通常是有相同的唯一标示id)选择同一个 Queue ,则这一批消息的消费将是顺序消息(并由同一个consumer完成消息)。或者 Message Queue 的数量只有 1 ,但这样消费的实例只能有一个,多出来的实例都会空跑。

但的确会有一些异常场景会导致乱序。如Broker 宕机或重启,导致写入队列的数量上出现变化。这样在MessageQueueSelector之中的逻辑无论是轮训还是取模就会出问题,由于队列总数发生发化,消费者也会触发负载均衡,而默认地负载均衡算法采取哈希取模平均,这样负载均衡分配到定位的队列会发化,使得队列可能分配到别的实例上,则会短暂地出现消息顺序不一致。除非选择牺牲failover特性(即 Broker 集群中只要有一台机器不可用,则整个集群都不可用),如master挂了无法发通接下来那批消息,但是服务可用性大大降低。

讨论完顺序消费的逻辑,我们来看一看实际场景中的问题,扩容是我们可能会遇到的场景,我们来思考下在扩容情况下,如何在不停写的情况下保证顺序消费?

顺序消息扩容的过程中,如何在不停写的情况下保证消息顺序?

1成倍扩容,实现扩容前后,同样的 key,hash 到原队列,或者 hash 到新扩容的队列。

2扩容前,记录旧队列中的最大位点。

3对于每个 Consumer Group ,保证旧队列中的数据消费完,再消费新队列,也即:先对新队列进行禁读即可。

参考资料

rocketmq怎么保证队列完全顺序消费?

posted @ 2020-04-24 08:41  wunsiang  阅读(3705)  评论(1编辑  收藏  举报