如何保证数据顺序性

这个问题从两个方面进行回答：为什么会存在无序消费，如何保证有序消费

1 为什么会存在无序消费？

　　

kafka的一个topic的数据，可以维护多个partition来实现消息的分片，生产者在生产数据的时候，会根据key来进行取模，决定将消息存储到哪一个partition里面。而且消息是按照先后有序的去存储在partition里面的。

　　

假设一个topic里面有三个partition，而消息正好被路由到三个独立的partition里面，然后消费端有三个消费者通过balance（负载均衡）的机制分别指派了对应的消费分区。因为消费者是完全独立的网络节点，所以，消费者的消费顺序可能不是按照消息发送的，从而导致消费乱序的问题。

2 如何保证有序消费

　　

针对这个问题，一般的解决方法是，自定义消息路由的一个算法。然后把指定的key都发送到同一个partiyion里面。然后我们指定一个消费者，专门去消费某一个分区的数据，这样就可以顺序消费了。

 

补充：在有些设计方案中，消费端会采用多线程的方式提高消息的处理效率，这种情况也会出现消息处理无序的问题。针对这个问题，一般是在消费端采用一个阻塞队列，把获取到的消息保存在阻塞队列里面，然后采用一个异步线程从队列里来获取消息。