SpringBoot：消息队列(基本概念)

什么是消息队列？

MQ全程（Message Queue）又名消息队列，是一种异步通讯的中间件。可以理解为邮局，发送者将消息投递到邮局，然后邮局帮我们发送给具体的接收者，具体发送过程和时间与我们无关。

消息队列是分布式系统中重要的组件，消息队列主要解决了应用耦合、异步处理、流量削锋等问题。

当前使用较多的消息队列有RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等，而部分数据库如Redis、Mysql以及phxsql也可实现消息队列的功能。

使用场景

消息队列在实际应用中包括如下四个场景：

  • 应用耦合：多应用间通过消息队列对同一消息进行处理，避免调用接口失败导致整个过程失败；

  • 异步处理：多应用对消息队列中同一消息进行处理，应用间并发处理消息，相比串行处理，减少处理时间；

  • 限流削峰：广泛应用于秒杀或抢购活动中，避免流量过大导致应用系统挂掉的情况；

  • 消息驱动的系统：系统分为消息队列、消息生产者、消息消费者，生产者负责产生消息，消费者(可能有多个)负责对消息进行处理；

下面详细介绍上述四个场景以及消息队列如何在上述四个场景中使用：

异步处理

具体场景：用户为了使用某个应用，进行注册，系统需要发送注册邮件并验证短信。对这两个操作的处理方式有两种：串行及并行。

1）串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端

2）并行方式：将注册信息写入数据库成功后，发送注册邮件的同时，发送注册短信。以上三个任务完成后，返回给客户端。与串行的差别是，并行的方式可以提高处理的时间

小结：假设三个业务节点分别使用50ms,串行方式使用时间150ms,并行使用时间100ms。虽然并性已经提高的处理时间,但是,前面说过,邮件和短信对我正常的使用网站没有任何影响，客户端没有必要等着其发送完成才显示注册成功,
应该是写入数据库后就返回. 

引入消息队列，将不是必须的业务逻辑，异步处理。改造后的架构如下：

 

 按照以上约定，用户的响应时间相当于是注册信息写入数据库的时间，也就是50毫秒。注册邮件，发送短信写入消息队列后，直接返回，因此写入消息队列的速度很快，基本可以忽略，因此用户的响应时间可能是50毫秒。因此架构改变后，系统的吞吐量提高到每秒20 QPS。比串行提高了3倍，比并行提高了两倍

应用耦合

场景说明：用户下单后，订单系统需要通知库存系统。传统的做法是，订单系统调用库存系统的接口。如下图

传统模式的缺点：

  • 假如库存系统无法访问，则订单减库存将失败，从而导致订单失败

  • 订单系统与库存系统耦合

  • 订单系统：用户下单后，订单系统完成持久化处理，将消息写入消息队列，返回用户订单下单成功

  • 库存系统：订阅下单的消息，采用拉/推的方式，获取下单信息，库存系统根据下单信息，进行库存操作

  • 假如：在下单时库存系统不能正常使用。也不影响正常下单，因为下单后，订单系统写入消息队列就不再关心其他的后续操作了。实现订单系统与库存系统的应用解耦

解耦是消息中间件的一个主要作用，标准的用法是：

生产者生产消息传送到队列，消费者从队列中拿取消息并处理，生产者不用关心是谁来消费，消费者不用关心谁在生产消息，从而达到解耦的目的。

限流削峰

具体场景：购物网站开展秒杀活动，一般由于瞬时访问量过大，服务器接收过大，会导致流量暴增，相关系统无法处理请求甚至崩溃。而加入消息队列后，系统可以从消息队列中取数据，相当于消息队列做了一次缓冲。

  • 可以控制活动的人数

  • 可以缓解短时间内高流量压垮应用

  • 用户的请求，服务器接收后，首先写入消息队列。假如消息队列长度超过最大数量，则直接抛弃用户请求或跳转到错误页面

  • 秒杀业务根据消息队列中的请求信息，再做后续处理

比方说一个秒杀需求，一用有1万件商品，如果每笔秒杀订单，都去访问一次数据库，查一查库存，那得花费多长时间啊。

我们可以这样做，用一个消息队列，定制它的长度为1万，1万以内可以存到消息队列，并立马反馈秒杀成功，之后再去做减库存等一系列操作。一万以后不再近消息队列，并立马反馈秒杀失败。

以上内容的来源是：https://blog.csdn.net/whoamiyang/article/details/54954780，在此感谢

消息驱动的系统

具体场景：用户新上传了一批照片， 人脸识别系统需要对这个用户的所有照片进行聚类，聚类完成后由对账系统重新生成用户的人脸索引(加快查询)。这三个子系统间由消息队列连接起来，前一个阶段的处理结果放入队列中，后一个阶段从队列中获取消息继续处理。

该方法有如下优点：

  • 避免了直接调用下一个系统导致当前系统失败；

  • 每个子系统对于消息的处理方式可以更为灵活，可以选择收到消息时就处理，可以选择定时处理，也可以划分时间段按不同处理速度处理；

消息队列的两种模式

消息队列包括两种模式，点对点模式（point to point， queue）和发布/订阅模式（publish/subscribe，topic）。

点对点式

生产者生产消息，存到消息队列中去，消费者去消息队列里边消费。消费者在成功接收消息之后需向队列应答成功，以便消息队列删除当前消费的消息，从而保证不重复消费信息

点对点模式特点：

  • 每个消息只有一个接收者（Consumer）(即一旦被消费，消息就不再在消息队列中)；

  • 发送者和接收者间没有依赖性，发送者发送消息之后，不管有没有接收者在运行，都不会影响到发送者下次发送消息；

  • 接收者在成功接收消息之后需向队列应答成功，以便消息队列删除当前接收的消息；

发布订阅式：

发布者将消息发送到Topic,系统将这些消息传递给多个订阅者。

发布/订阅模式特点：

  • 每个消息可以有多个订阅者；

  • 发布者和订阅者之间有时间上的依赖性。针对某个主题（Topic）的订阅者，它必须创建一个订阅者之后，才能消费发布者的消息。

  • 为了消费消息，订阅者需要提前订阅该角色主题，并保持在线运行；

常用消息队列介绍

TPS比较 一ZeroMq 最好，RabbitMq 次之， ActiveMq 最差。

持久化消息比较—zeroMq不支持，activeMq和rabbitMq都支持。持久化消息主要是指：MQ down或者MQ所在的服务器down了，消息不会丢失的机制。

可靠性、灵活的路由、集群、事务、高可用的队列、消息排序、问题追踪、可视化管理工具、插件系统、社区—RabbitMq最好，ActiveMq次之，ZeroMq最差。

高并发—从实现语言来看，RabbitMQ最高，原因是它的实现语言是天生具备高并发高可用的erlang语言。

综上所述：RabbitMQ的性能相对来说更好更全面，是消息中间件的首选。

 这里列举了上述四种消息队列的差异对比：

 

五、参考资料：

5.1 消息队列：

  1. 大型网站架构之分布式消息队列 http://blog.csdn.net/shaobingj126/article/details/50585035

  2. 消息队列的使用场景 https://www.zhihu.com/question/34243607/answer/127666030

  3. 浅谈异步消息队列模型 http://www.cnblogs.com/sunkeydev/p/5248855.html

  4. 消息队列的两种模式 http://blog.csdn.net/heyutao007/article/details/50131089

5.2 RabbitMQ

  1. RabbitMQ主页 https://www.rabbitmq.com/

  2. RabbitMQ学习教程 https://www.rabbitmq.com/getstarted.html

  3. 专栏:RabbitMQ从入门到精通 http://blog.csdn.net/column/details/rabbitmq.html

  4. RabbitMQ能为你做些什么 http://rabbitmq.mr-ping.com/description.html

  5. RabbitMQ指南(1)-特性及功能 https://blog.zenfery.cc/archives/79.html

5.3 ActiveMQ

  1. ActiveMQ主页 http://activemq.apache.org/

  2. Apache ActiveMQ介绍 http://jfires.iteye.com/blog/1187688

  3. ActiveMQ的简介与安装 http://blog.csdn.net/sl1992/article/details/72824562

  4. ActiveMQ 和消息简介 http://www.cnblogs.com/craftsman-gao/p/7002605.html

5.4 RocketMQ

  1. 主页 https://github.com/alibaba/RocketMQ

  2. RocketMQ 原理简介 http://alibaba.github.io/RocketMQ-docs/document/design/RocketMQ_design.pdf

  3. RocketMQ与kafka对比（18项差异） http://jm.taobao.org/2016/03/24/rmq-vs-kafka/

5.5 Kafka

1.Kafka主页： http://kafka.apache.org/

  1. Kafka特性 http://www.cnblogs.com/lsx1993/p/4847719.html

  2. Kafka客户端支持语言 https://cwiki.apache.org/confluence/display/KAFKA/Clients

5.6 RabbitMQ/ActiveMQ/RocketMQ/Kafka对比

  1. RocketMQ，队列选型 http://www.zmannotes.com/index.php/2016/01/17/rocketmq/

  2. RabbitMQ和Kafka http://www.dongcoder.com/detail-416804.html

  3. 即时通信RabbitMQ二-性能测试 http://www.jianshu.com/p/d31ae9e3bfb6

  4. RabbitMq、ActiveMq、ZeroMq、kafka之间的比较,资料汇总 http://blog.csdn.net/linsongbin1/article/details/47781187

  5. 消息队列软件产品大比拼 http://www.cnblogs.com/amityat/archive/2011/08/31/2160293.html

总结：

消息队列利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。目前业界有很多的MQ产品，例如RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等，也有直接使用数据库redis充当消息队列的案例。而这些消息队列产品，各有侧重，在实际选型时，需要结合自身需求及MQ产品特征，综合考虑。

 

（原文地址：https://cloud.tencent.com/community/article/129032 。 尊重原创，感谢作者！）

 

posted @ 2019-11-02 14:26  我想和这个世界谈谈,  阅读(3475)  评论(1)  编辑  收藏  举报