如果让你写一个消息队列,该如何进行架构设计啊?说一下你的思路

如果说要设计一个消息队列,主要从以下角度考虑:

1)首先得考虑mq的可伸缩性,也就是需要的时候可以支持快速扩容,就可以增加吞吐量和容量,怎么搞?

设计个分布式系统,参考Kafka设计理念,broker->topic->partition,每个partition放一个机器旧村一部分数据。

如果现在资源不够,给topic增加partition,然后数据迁移,增加机器,就可以存放更多的数据,提供更高的吞吐量;

2)其次得考虑mq的数据要不要落地磁盘?

必须落地磁盘,这样才能保证进程挂了数据就丢了,如何落地磁盘呢?顺序写,这样就没有磁盘随机读写的寻址开销了,磁盘顺序读写的性能很高,这就是Kafka的思路

3)再其次得考虑mq的可用性?

可参考Kafka的高可用保障机制。多副本->leader&&follower->broker挂了重新选举leader即可对外服务

4)最后考虑是否支持数据0丢失

具体参考Kafka数据零丢失方案

posted on 2022-08-08 22:00  网恋被骗两千八  阅读(102)  评论(0编辑  收藏  举报