如果让你写一个消息队列,该如何进行架构设计啊?说一下你的思路
如果说要设计一个消息队列,主要从以下角度考虑:
1)首先得考虑mq的可伸缩性,也就是需要的时候可以支持快速扩容,就可以增加吞吐量和容量,怎么搞?
设计个分布式系统,参考Kafka设计理念,broker->topic->partition,每个partition放一个机器旧村一部分数据。
如果现在资源不够,给topic增加partition,然后数据迁移,增加机器,就可以存放更多的数据,提供更高的吞吐量;
2)其次得考虑mq的数据要不要落地磁盘?
必须落地磁盘,这样才能保证进程挂了数据就丢了,如何落地磁盘呢?顺序写,这样就没有磁盘随机读写的寻址开销了,磁盘顺序读写的性能很高,这就是Kafka的思路
3)再其次得考虑mq的可用性?
可参考Kafka的高可用保障机制。多副本->leader&&follower->broker挂了重新选举leader即可对外服务
4)最后考虑是否支持数据0丢失
具体参考Kafka数据零丢失方案