如何评价腾讯开源的消息中间件TubeMQ？

周五晚上无聊，粗粗撸了一遍代码+性能测试文档，随便扯扯吧。主要分为亮点、槽点、瓶颈分析三块，理解有问题的话欢迎大家指出来。

亮点

  • 结构相对清晰，流程简单一目了然

  • 每个分区一个逻辑存储的设计，在一定程度上增大了写盘之前处理的并发数（这点会在瓶颈分析部分）

  • 自建缓存的设计使得写盘相对可控，不会污染pagecache导致写放大

槽点

  • 不可靠。没有落盘就进行ack，在大多数金融级场景里不可接受

  • 相对kafka和RocketMQ作为已有产品，解决的问题不够清晰（详见瓶颈分析）

  • 多副本没开源。。。其实最早看的动力就是想看下这一块

  • 性能测试文档分析有点粗暴，没有对数据结果进行更进一步分析，以及针对已有数据设计更多更有针对性的场景

瓶颈分析

由于某些不可描述的原因，为了避免麻烦，暂时不能详细说解决方案，但是说瓶颈应该没啥问题。由于多副本尚未开源，以下仅讨论存储引擎部分。

背景

分析瓶颈之前，先介绍下各种消息队列存储模型以方便后续分析。

kafka

每一个partition都有日志和索引文件,如下图所示。kafka的瓶颈主要在于，当单机分区数增加或者强制写盘次数增加时，随机写带来的开销。这一点由于机械结构的磁盘需要寻道，会导致表现的特别明显。

 

 

所以kafka的瓶颈主要在于：

  • 不适合单机多主题多分区的场景；

  • 不适合可靠性要求高的场景（强制刷盘后返回）；

RocketMQ

全局顺序日志，逻辑索引，索引可以通过日志进行重建。所以在高可靠场景下（每条消息必须刷盘），即使单机的分区数很多，也不会大幅度影响性能。

 

 

RocketMQ的缺点主要在于：

  • 由于要保证日志和索引文件顺序一致，锁加在了最外面，导致内存的追加、序列化、获取索引偏移量、获取日志偏移量只能单线程执行；这种设计导致cpu主频高低直接影响tps，并且在cpu核数提升的情况下提升不明显（以上分析均以IO不是瓶颈的情况下讨论，实际上小流量RocketMQ也跑不到IO瓶颈）

  • 虽然做了组提交（刷盘），但是效果不明显。同步写盘的模式下，当消息比较小时，有明显的写放大

JMQ4

JMQ4[1]的突出设计就是综合了kafka和RocketMQ的存储模型。

 

 

对于单个主题的多个分区，JMQ4写同一个日志文件；而对于不同的主题，则采用不同的日志文件进行存储。

  • 如果broker只有一个主题，则相当于RocketMQ模型

  • 如果broker有多个主题，每个主题一个分区，则相当于Kafka每个主题在此broker上只有一个分区时的模型

特点：

  • 在一定程度上缓解了Kafka在多主题下的劣势；

  • 同时在多主题时提升了一部分并行度解决了RocketMQ的单线程瓶颈；

  • 同时还可以保证高可靠。

TubeMQ

TubeMQ存储结构如下：

 

 

  • 实际采用全局的日志文件和索引文件存储，类似RocketMQ，因此一定程度上避免了kafka在分区数增加时性能下降的问题（尤其在机械结构的磁盘上）

  • 每个分区单独的逻辑模型，锁仅仅加在patition级别，在写磁盘之前模型可以认为就是kafka的分区模型，因此解决了RocketMQ的单线程处理问题。当然采用全局日志文件的话写磁盘肯定要加锁，从全局来看相当于细化了90%以上的锁粒度

  • 自建的索引层+异步写盘模式保证了写放大不会太厉害，且不会污染pagecache。（当然有槽点未竟全功，因为某些原因不能细说哈哈）

通过以上分析，是不是感觉很完美？其实相对于Kafka和RocketMQ，TubeMQ由于写内存成功就返回，导致不可靠，从而导致解决的问题并不够清晰

  • 如果需要高可靠，我会选择RocketMQ或者JMQ4(可能未开源？不太了解)

  • 如果能接受丢失消息，随着ssd价格下降，无疑kafka就是个很好的选择（在ssd情况下，异步刷盘，kafka的弱点基本被掩盖）
    JMQ4，kafka,TubeMQ还有个共同的问题，单线程瓶颈通过多个逻辑分区/日志进行解决，并不能真正的解决问题。考虑一个实际问题，一个broker往往存在热点分区或者主题，占了总流量很高的比例。以上解决方案对于特定的某个热点分区，还是只能单线程处理，而其他资源只能浪费。换言之，构建一个场景，100个主题，1个流量占90%,其余99个占10%.压测数据会比100个主题平分流量出现明显的下降。

压测数据分析

背景介绍完以后，我们来看压测场景[2]

场景一：基础场景，单topic情况，一入两出模型，分别使用不同的消费模式、不同大小的消息包，分区逐步做横向扩展，对比TubeMQ和Kafka性能

TubeMQ吞吐量不随分区变化而变化，同时TubeMQ属于顺序写随机读模式，单实例情况下吞吐量要低于Kafka

单主题单分区的情况下，大家模型退化成一样（甚至TubeMQ因为自建缓存写入更可控）。kafka在200B,2k，1k三种单主题单分区场景性能均高了70%左右。如此稳定的表现（尤其在模型相似的情况下），难道不应该着重分析下瓶颈，就这样一带而过？虽然知道，但是不方便说emmmm

场景二：单topic情况，一入两出模型，固定消费包大小，横向扩展实例数，对比TubeMQ和Kafka性能情况

TubeMQ随着实例数增多，吞吐量增长，在4个实例的时候吞吐量与Kafka持平，磁盘IO使用率比Kafka低，CPU使用率比Kafka高；Kafka随分区实例数增多，没有如期提升系统吞吐量；TubeMQ按照Kafka等同的增加实例（物理文件）后，吞吐量量随之提升，在4个实例的时候测试效果达到并超过Kafka 5个分区的状态

我们来看下数据

 

TubeMQ 4个实例4个10个分区和kafka比有点欺负人哈哈。

参见上一节，相当于在写盘之前，TubeMQ有40个线程在工作，kafka应该调整成40个分区比才有意义（否则结果理论分析就行）。当然因为还要换成ssd，因为上图kafka瓶颈明显在机械盘的随机写上，不用ssd也没有太多测试价值。

场景八：评估多机型情况下两系统的表现

在SSD盘存储条件下，Kafka性能指标达到最好，TubeMQ指标不及Kafka；

其余场景都是老调重弹，懂了模型基本都在预期之内。要跟kafka比的话，除非用单分区，否则其它场景确实用ssd才更有意义。指标不及kafka正常应该分析下原因，这才是压测的意义吧。

在SATA盘存储条件下，TubeMQ性能指标随着硬件配置的改善有明显的提升；Kafka性能指标随硬件机型的改善存在不升反降的情况;

“Kafka性能指标随硬件机型的改善存在不升反降的情况”这个结论得到的有点不负责任。。。TS60机型测的是1-100个主题，BX1机型测的是500个主题，性能降低原因很明显（机械盘分区变多寻道时间增加）。。

就写到这里吧，最后安利下我们的MQ，以下均为机械磁盘，500B消息，同机房延迟0.04-0.1ms左右：

  • 单主题即能写满磁盘IO，完全解决了以上单线程瓶颈，几乎没有写放大（压测场景）

  • 保证消息可靠（每条消息同步刷盘）的情况下50w tps，平均响应时间6ms；10w tps以下平均响应时间2ms

  • 主从同步双写再回复客户端的情况下tps 40w+

  • 同机型，单主题单机性能物理机是RocketMQ，kafka的4-5倍，虚拟机是RocketMQ的10倍

emmm，可惜没开源，不配拥有姓名哈哈,至于ssd情况下异步能不能达到百万tps。。。下个月有了结果来更新。

 

参考资料：

[1]如何实现百万TPS？详解JMQ4的存储设计

[2]TubeMQ VS Kafka性能对比测试总结

 

 

原文：https://www.zhihu.com/question/346540432/answer/895769818 

posted @ 2020-09-02 11:11  张q  阅读(460)  评论(0)  编辑  收藏  举报