常见消息引擎系统对比

一、RabbitMQ

RabbitMQ属于比较传统的消息队列系统，支持标准的消息队列协议（AMQP, STOMP，MQTT等），如果你的应用程序需要支持这些协议，那么还是使用RabbitMQ。另外RabbitMQ支持比较复杂的consumer Routing，这点也是Kafka不提供的。

广泛用于金融保险、政企、电商、新零售、物流、视频互动、能源等行业业务的消息通讯。

 

二、Kafka

广泛用于日志收集、监控数据聚合、网站行为分析、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一；让数据集成变得简单：您能将 Kafka 中的消息导入到 ODPS、HBase、HBASE 等离线数据仓库；可广泛的与流计算引擎集成，包括阿里云平台的 StreamCompute、E-MapReduce 和开源产品 Spark、Storm 等。

 

经典应用场景：

1、网站活动跟踪

成功的网站运营都会非常关注站点的用户行为并进行分析。通过消息队列 Kafka，您可以实时收集网站活动数据（包括用户浏览页面、搜索及其他行为等），并通过“发布/订阅”模型实现：

• 根据不同的业务数据类型，将消息发布到不同的 Topic；
• 通过订阅消息的实时投递，将消息流用于实时监控与业务分析或者加载到 Hadoop、ODPS 等离线数据仓库系统进行离线处理与业务报告。

2、日志聚合

许多公司，比如淘宝、天猫平台每天都会产生大量的日志（一般为流式数据，如搜索引擎 pv、查询等），相较于日志为中心的系统，比如 Scribe 或者 Flume 来说，Kafka 在提供同样高效的性能时，可以实现更强的数据持久化以及更低的端到端响应时间。Kafka 的这种特性决定它非常适合作为日志收集中心：

• Kafka 忽略掉文件的细节，可以将多台主机或应用的日志数据抽象成一个个日志或事件的消息流，异步发送到 Kafka 集群，从而做到非常低的 RT 时间；
• Kafka 客户端可批量提交消息和压缩消息，对生产者而言几乎感觉不到性能的开支；
• 消费者可以使用 Hadoop、ODPS 等离线仓库存储和 Strom、Spark 等实时在线分析系统对日志进行统计分析；
• 应用与分析解耦：构建应用系统和分析系统的桥梁，并将它们之间的关联解耦。

3、流计算处理

在很多领域，如股市走向分析、气象数据测控、网站用户行为分析，由于数据产生快、实时性强且量大，您很难统一采集这些数据并将其入库存储后再做处理，这便导致传统的数据处理架构不能满足需求。

与传统架构不同，Kafka 以及 Storm/Samza/Spark 等流计算引擎的出现，就是为了更好地解决这类数据在处理过程中遇到的问题，流计算模型能实现在数据流动的过程中对数据进行实时地捕捉和处理，并根据业务需求进行计算分析，最终把结果保存或者分发给需要的组件。

4、数据中转枢纽

近 10 多年来，诸如 KV 存储（HBase）、搜索（ElasticSearch）、流式处理（Storm/Spark Streaming/Samza）、时序数据库（OpenTSDB）等专用系统应运而生。这些系统是因为单一的目标而产生，也因其简单性使得在商业硬件上构建分布式系统变得更加容易且性价比更高。

通常，同一份数据集需要被注入到多个专用系统内。例如，当应用日志用于离线日志分析，搜索单个日志记录同样不可或缺，而构建各自独立的工作流来采集每种类型的数据再导入到各自的专用系统显然不切实际，利用 Kafka 作为数据中转枢纽，同份数据可以被导入到不同专用系统中。

三、Redis

四、ActiveMQ