消息中间件对比

消息中间件对比

特性	ActiveMQ	RabbitMQ	Kafka	RocketMQ
PRODUCER-COMSUMER	支持	支持	支持	支持
PUBLISH-SUBSCRIBE	支持	支持	支持	支持
REQUEST-REPLY	支持	支持	-	支持
API完备性	高	高	高	低（静态配置）
多语言支持	支持，JAVA优先	语言无关	支持，JAVA优先	支持
单机呑吐量	万级	万级	十万级	单机万级
消息延迟	-	微秒级	毫秒级	-
可用性	高（主从）	高（主从）	非常高（分布式）	高
消息丢失	-	低	理论上不会丢失	-
消息重复	-	可控制	理论上会有重复	-
文档的完备性	高	高	高	中
提供快速入门	有	有	有	无
首次部署难度	-	低	中	高
社区活跃度	低	中	高	高

消息中间件介绍

RabbitMQ

  RabbitMQ是一款使用Erlang语言开发的，实现AMQP(高级消息队列协议)的开源消息中间件。

• 组成：

  • Broker：消息队列服务进程。此进程包括两个部分：Exchange和Queue。

  • Exchange：消息队列交换机。按一定的规则将消息路由转发到某个队列。

  • Queue：消息队列，存储消息的队列。

  • Producer：消息生产者。生产方客户端将消息同交换机路由发送到队列中。

  • Consumer：消息消费者。消费队列中存储的消息。

• 特点：

  • 可靠性。支持持久化，传输确认，发布确认等保证了MQ的可靠性。

  • 灵活的分发消息策略。这应该是RabbitMQ的一大特点。在消息进入MQ前由Exchange(交换机)进行路由消息。分发消息策略有：简单模式、工作队列模式、发布订阅模式、路由模式、通配符模式。

  • 支持集群。多台RabbitMQ服务器可以组成一个集群，形成一个逻辑Broker。

  • 多种协议。RabbitMQ支持多种消息队列协议，比如 STOMP、MQTT 等等。

  • 支持多种语言客户端。RabbitMQ几乎支持所有常用编程语言，包括 Java、.NET、Ruby 等等。

  • 可视化管理界面。RabbitMQ提供了一个易用的用户界面，使得用户可以监控和管理消息 Broker。

  • 插件机制。RabbitMQ提供了许多插件，可以通过插件进行扩展，也可以编写自己的插件。

• 工作流程：

  • 消息生产者连接到RabbitMQ Broker，创建connection，开启channel。

  • 生产者声明交换机类型、名称、是否持久化等。

  • 生产者发送消息，并指定消息是否持久化等属性和routing key。

  • exchange收到消息之后，根据routing key路由到跟当前交换机绑定的相匹配的队列里面。

  • 消费者监听接收到消息之后开始业务处理。

ActiveMQ

  Apache ActiveMQ是最流行的开源，多协议，基于Java的消息代理。它支持行业标准协议，因此用户可以跨各种语言和平台获得客户端选择的好处。从用 JavaScript、C、C++、Python、.Net 等编写的客户端进行连接。使用无处不在的 AMQP协议集成您的多平台应用程序。在 Web 应用程序之间使用 STOMP通过 websockets 交换消息。使用MQTT管理您的物联网设备。支持您现有的 JMS基础架构及其他设备。ActiveMQ 提供了支持任何消息传递用例的强大功能和灵活性。

• 使用：需要Java JDK

• 特点

  • 服从 JMS 规范：JMS 规范提供了良好的标准和保证，包括：同步或异步的消息分发，一次和仅一次的消息分发，消息接收和订阅等等。遵从 JMS 规范的好处在于，不论使用什么 JMS 实现提供者，这些基础特性都是可用的；

  • 连接性：ActiveMQ 提供了广泛的连接选项，支持的协议有：HTTP/S，IP 多播，SSL，STOMP，TCP，UDP，XMPP等等。对众多协议的支持让 ActiveMQ 拥有了很好的灵活性。

  • 支持的协议种类多：OpenWire、STOMP、REST、XMPP、AMQP ；

  • 持久化插件和安全插件：ActiveMQ 提供了多种持久化选择。而且，ActiveMQ 的安全性也可以完全依据用户需求进行自定义鉴权和授权；

  • 支持的客户端语言种类多：除了 Java 之外，还有：C/C++，.NET，Perl，PHP，Python，Ruby；

  • 代理集群：多个 ActiveMQ 代理可以组成一个集群来提供服务；

  • 异常简单的管理：ActiveMQ 是以开发者思维被设计的。所以，它并不需要专门的管理员，因为它提供了简单又使用的管理特性。有很多中方法可以监控 ActiveMQ 不同层面的数据，包括使用在 JConsole 或者 ActiveMQ 的Web Console 中使用 JMX，通过处理 JMX 的告警消息，通过使用命令行脚本，甚至可以通过监控各种类型的日志。

RocketMQ

  RocketMQ是一个纯Java、分布式、队列模型的开源消息中间件，前身是MetaQ，是阿里参考Kafka特点研发的一个队列模型的消息中间件，后开源给apache基金会成为了apache的顶级开源项目，具有高性能、高可靠、高实时、分布式特点。

• 优点：

  • 单机吞吐量：十万级

  • 可用性：非常高，分布式架构

  • 消息可靠性：经过参数优化配置，消息可以做到0丢失

  • 功能支持：MQ功能较为完善，还是分布式的，扩展性好

  • 支持10亿级别的消息堆积，不会因为堆积导致性能下降

  • 源码是java，我们可以自己阅读源码，定制自己公司的MQ，可以掌控

  • 天生为金融互联网领域而生，对于可靠性要求很高的场景，尤其是电商里面的订单扣款，以及业务削峰，在大量交易涌入时，后端可能无法及时处理的情况

  • RoketMQ在稳定性上可能更值得信赖，这些业务场景在阿里双11已经经历了多次考验，如果你的业务有上述并发场景，建议可以选择RocketMQ

• 缺点：

  • 支持的客户端语言不多，目前是java及c++，其中c++不成熟

  • 社区活跃度不是特别活跃那种

  • 没有在 MQ 核心中去实现JMS等接口，有些系统要迁移需要修改大量代码

Kafka

  Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。

• 特点：

  • 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。

  • 可扩展性：kafka集群支持热扩展

  • 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失

  • 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）

  • 高并发：支持数千个客户端同时读写

• 使用场景：

  • 日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer，例如hadoop、Hbase、Solr等。

  • 消息系统：解耦和生产者和消费者、缓存消息等。

  • 用户活动跟踪：Kafka经常被用来记录web用户或者app用户的各种活动，如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到kafka的topic中，然后订阅者通过订阅这些topic来做实时的监控分析，或者装载到hadoop、数据仓库中做离线分析和挖掘。

  • 运营指标：Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告。

  • 流式处理：比如spark streaming和storm

  • 事件源