Kafka的分区策略

kafka的特性

1.kafka中,写入一个partion照片中的数据是一定有顺序的
2.kafka中一个消费者消费一个partion的数据,消费者取出数据时,也是有顺序的

需要顺序的场景

1.数据库中的binlog
2.一些业务需要,比如希望把某个订单的数据写入一个partion

为何消息会错乱

1.由于消费者消费消息之后,消费之后,有可能交给很多个线程去处理数据(如下图),这样就导致数据顺序错乱

解决办法

为了保证一个消费者中多个线程去处理时,不会使得消息的顺序被打乱,则可以在消费者中,消息分发至不同的线程时,加一个队列,消费者去做hash分发,将需要放在一起的数据,分发至同一个队列中,最后多个线程从队列中取数据,如下图所示。
在这里插入图片描述

posted on 2020-12-21 17:27  ExplorerMan  阅读(197)  评论(0编辑  收藏  举报

导航