消息队列RabbitMQ

消息队列RabbitMQ

 

消息队列

    消息（Message）是指在应用间传送的数据。消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。

　　消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，由消息系统来确保消息的可靠传递。消息发布者只管把消息发布到 MQ 中而不用管谁来取，消息使用者只管从 MQ 中取消息而不管是谁发布的。这样发布者和使用者都不用知道对方的存在。

　　

消息队列的使用场景

 

从上面的描述中可以看出消息队列是一种应用间的异步协作机制，那什么时候需要使用 MQ 呢？
以常见的订单系统为例，用户点击【下单】按钮之后的业务逻辑可能包括：扣减库存、生成相应单据、发红包、发短信通知。
在业务发展初期这些逻辑可能放在一起同步执行，随着业务的发展订单量增长，需要提升系统服务的性能，这时可以将一些不需要立即生效的操作拆分出来异步执行，比如发放红包、发短信通知等。

这种场景下就可以用 MQ ，在下单的主流程（比如扣减库存、生成相应单据）完成之后发送一条消息到 MQ 让主流程快速完

结，而由另外的单独线程拉取MQ的消息（或者由 MQ 推送消息），当发现 MQ 中有发红包或发短信之类的消息时，执行相应的业务逻辑。

以上是用于业务解耦的情况，其它常见场景包括最终一致性、广播、错峰流控等等。

 

　

解耦（为面向服务的架构（SOA）提供基本的最终一致性实现）

场景说明：用户下单后，订单系统需要通知库存系统。传统的做法是，订单系统调用库存系统的接口。

传统模式的缺点：

• 假如库存系统无法访问，则订单减库存将失败，从而导致订单失败

• 订单系统与库存系统耦合

引入消息队列

• 订单系统：用户下单后，订单系统完成持久化处理，将消息写入消息队列，返回用户订单下单成功

• 库存系统：订阅下单的消息，采用拉/推的方式，获取下单信息，库存系统根据下单信息，进行库存操作

• 假如：在下单时库存系统不能正常使用。也不影响正常下单，因为下单后，订单系统写入消息队列就不再关心其他的后续操作了。实现订单系统与库存系统的应用解耦

• 为了保证库存肯定有，可以将队列大小设置成库存数量，或者采用其他方式解决。

基于消息的模型，关心的是“通知”，而非“处理”。

短信、邮件通知、缓存刷新等操作使用消息队列进行通知。

消息队列和RPC的区别与比较：

• RPC: 异步调用，及时获得调用结果，具有强一致性结果，关心业务调用处理结果。

• 消息队列：两次异步RPC调用，将调用内容在队列中进行转储，并选择合适的时机进行投递（错峰流控）

异步提升效率

场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种 1.串行的方式；2.并行方式

扩展：

异步并发利器：实际项目中使用CompletionService提升系统性能的一次实践

（1）串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端

（2）并行方式：将注册信息写入数据库成功后，发送注册邮件的同时，发送注册短信。以上三个任务完成后，返回给客户端。与串行的差别是，并行的方式可以提高处理的时间

引入消息队列，将不是必须的业务逻辑，异步处理。改造后的架构如下：

流量削峰

流量削峰也是消息队列中的常用场景，一般在秒杀或团抢活动中使用广泛

应用场景：系统其他时间A系统每秒请求量就100个，系统可以稳定运行。系统每天晚间八点有秒杀活动，每秒并发请求量增至1万条，但是系统最大的处理能力只能每秒处理1000个请求，于是系统崩溃，服务器宕机。

之前架构：大量用户（100万用户）通过浏览器在晚上八点高峰期同时参与秒杀活动。大量的请求涌入我们的系统中，高峰期达到每秒钟5000个请求，大量的请求打到MySQL上，每秒钟预计执行3000条SQL。但是一般的MySQL每秒钟扛住2000个请求就不错了，如果达到3000个请求的话可能MySQL直接就瘫痪了，从而系统无法被使用。但是高峰期过了之后，就成了低峰期，可能也就1万用户访问系统，每秒的请求数量也就50个左右，整个系统几乎没有任何压力。

引入MQ：100万用户在高峰期的时候，每秒请求有5000个请求左右，将这5000请求写入MQ里面，系统A每秒最多只能处理2000请求，因为MySQL每秒只能处理2000个请求。系统A从MQ中慢慢拉取请求，每秒就拉取2000个请求，不要超过自己每秒能处理的请求数量即可。MQ，每秒5000个请求进来，结果只有2000个请求出去，所以在秒杀期间（将近一小时）可能会有几十万或者几百万的请求积压在MQ中。

关于流量削峰：秒杀系统流量削峰这事儿应该怎么做？

这个短暂的高峰期积压是没问题的，因为高峰期过了之后，每秒就只有50个请求进入MQ了，但是系统还是按照每秒2000个请求的速度在处理，所以说，只要高峰期一过，系统就会快速将积压的消息消费掉。我们在此计算一下，每秒在MQ积压3000条消息，1分钟会积压18万，1小时积压1000万条消息，高峰期过后，1个多小时就可以将积压的1000万消息消费掉。

 

 

　

 

RabbitMQ 特点

RabbitMQ 是一个由 Erlang 语言开发的 AMQP 的开源实现。

AMQP ：Advanced Message Queue，高级消息队列协议。它是应用层协议的一个开放标准，为面向消息的中间件设计，基于此协议的客户端与消息中间件可传递消息，并不受产品、开发语言等条件的限制。

RabbitMQ 最初起源于金融系统，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。具体特点包括：
可靠性（Reliability）
RabbitMQ 使用一些机制来保证可靠性，如持久化、传输确认、发布确认。

灵活的路由（Flexible Routing）
在消息进入队列之前，通过 Exchange 来路由消息的。对于典型的路由功能，RabbitMQ 已经提供了一些内置的 Exchange 来实现。针对更复杂的路由功能，可以将多个 Exchange 绑定在一起，也通过插件机制实现自己的 Exchange 。

消息集群（Clustering）
多个 RabbitMQ 服务器可以组成一个集群，形成一个逻辑 Broker 。

高可用（Highly Available Queues）
队列可以在集群中的机器上进行镜像，使得在部分节点出问题的情况下队列仍然可用。

多种协议（Multi-protocol）
RabbitMQ 支持多种消息队列协议，比如 STOMP、MQTT 等等。

多语言客户端（Many Clients）
RabbitMQ 几乎支持所有常用语言，比如 Java、.NET、Ruby 等等。

管理界面（Management UI）
RabbitMQ 提供了一个易用的用户界面，使得用户可以监控和管理消息 Broker 的许多方面。

跟踪机制（Tracing）
如果消息异常，RabbitMQ 提供了消息跟踪机制，使用者可以找出发生了什么。

插件机制（Plugin System）
RabbitMQ 提供了许多插件，来从多方面进行扩展，也可以编写自己的插件。

　　

 

生产者与消费者

RabbitMQ是为了应用程序与应用程序之间的通信
RabbitMQ是消息投递服务，RabbitMQ在应用程序之间扮演路由器的角色
应用程序可以发送信息，发送消息给RabbitMQ（代理服务器）
应用程序可以接收信息，从RabbitMQ（代理服务器）接收信息
当一个应用程序连接到RabbitMQ时，它只有一个身份，要么是生产者，或者消费者。

生产者创建消息，然后发布到代理服务器RabbitMQ，消息包含两部分：有效载荷与标签。
消费者连接到代理服务器，并订阅到队列上，我们可以把消息队列想象成一个具体邮箱，每当消息到达特定的邮箱时，RabbitMQ会将其发送给其中一个订阅/监听的消费者。

注意：消费者接收消息里面只有有效载荷，没有消息的标签，RabbitMQ不会告诉你是谁是消息的生产者，就好像你拿着一封信，上面并没有署名。

整个消息传递的过程：生产者创建消息，消费者接收消息，两者是可以切换的。

　　

 

 RabbitMQ 内部结构

·  Message
消息，消息是不具名的，它由消息头和消息体组成。消息体是不透明的，而消息头则由一系列的可选属性组成，这些属性包括routing-key（路由键）、priority（相对于其他消息的优先权）、delivery-mode（指出该消息可能需要持久性存储）等。
·  Publisher
消息的生产者，也是一个向交换器发布消息的客户端应用程序。
·  Exchange
交换器，用来接收生产者发送的消息并将这些消息路由给服务器中的队列。
·  Binding
绑定，用于消息队列和交换器之间的关联。一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则，所以可以将交换器理解成一个由绑定构成的路由表。
·  Queue
消息队列，用来保存消息直到发送给消费者。它是消息的容器，也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面，等待消费者连接到这个队列将其取走。
·  Connection
网络连接，比如一个TCP连接。
·  Channel
信道，多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内地虚拟连接，AMQP 命令都是通过信道发出去的，不管是发布消息、订阅队列还是接收消息，这些动作都是通过信道完成。因为对于操作系统来说建立和销毁 TCP 都是非常昂贵的开销，所以引入了信道的概念，以复用一条 TCP 连接。
·  Consumer
消息的消费者，表示一个从消息队列中取得消息的客户端应用程序。
·  Virtual Host
虚拟主机，表示一批交换器、消息队列和相关对象。虚拟主机是共享相同的身份认证和加密环境的独立服务器域。每个 vhost 本质上就是一个 mini 版的 RabbitMQ 服务器，拥有自己的队列、交换器、绑定和权限机制。vhost 是 AMQP 概念的基础，必须在连接时指定，RabbitMQ 默认的 vhost 是 / 。
·  Broker
表示消息队列服务器实体。

　　

应用程序与代理服务器的通信机制

AMQP：
AMQP,高级消息队列协议，以解决众多的消息队列需求和拓扑结构问题
而RabbitMQ是唯一实现了AMQP标准的代理服务器

信道：
生产者和消费者都需要连接到RabbitMQ，才能消费或者发布消息。

应用程序与RabbitMQ之间建立一条TCP连接，在TCP连接上就可以创建一条AMOP信道，信道是建立在TCP连接内的虚拟连接。

每一条信道都由一个唯一标识的ID(AMQP库会帮你记住ID)，发布消息，订阅队列、接收消息都是在信道里完成的。

信道存在的意义：
我们知道建立和销毁TCP会话是很昂贵的开销，比如现在发送者大量的发送消息给RabbitMQ，如果现在每条信息发送都是一个线程来发送信息，难道每个线程发送信息都需要与RabbitMQ建立一条TCP连接吗？

这里面就有了一种办法：在现成的TCP连接上建立信道，信道与信道之间相互独立，不会给操作系统的TCP栈造成额外负担，在一条TCP连接上创建信道是没有限制的，所以这里使用信道可以创建并行的传输层，不会受到TCP层的连接限制。

 

AMQP消息路由：队列、交换器和绑定

AMQP 中增加了 Exchange 和 Binding 的角色。生产者把消息发布到 Exchange 上，消息最终到达队列并被消费者接收，而 Binding 决定交换器的消息应该发送到那个队列。

AMQP 的消息路由过程

队列

队列：消息最终到达队列中并等待消费。
消费者通过两种方式从队列中接收消息：
（1）
AMQP的basic.consume命令订阅。
将信道置为接收模式，直到取消队列的订阅为止，订阅了队列，消费者（或者拒绝）最近接收的消息后，就能从队列中自动接收下一条消息。如果消费者处理队列消息，并且需要消息一到达队列就自动接收的话，使用basic.consume，说白了就是持续接收信息。

（2）
AMQP的basic.get命令订阅
只想从队列中获得单条消息而不是持续的订阅。总结：basic.get命令会订阅队列，获得单条消息，然后取消订阅，所以消费者应该使用basic.consume来实现高吞吐量

如果只有一个消费者订阅了队列，消息会立即发送给这个订阅者。
如果没有消费者订阅队列，消息会在队列里等待，一旦有消费者订阅了对了，那么队列上的消息就会发送给消费者
如果有多个消费者订阅到同一个队列上，消息是如何分发的？循环依次发送给消费者，一次只发送给一个消费者。

 

交换器和绑定

消息实际上投递到的是交换机，然后根据确定的规则，RabbitMQ将会决定消息该投递到哪个队列，这些规则被称为路由键，队列通过路由键绑定到交换器。

　　当你发消息到代理服务器时，即便路由键是空的，RabbitMQ也会将其和使用的路由键进行匹配。如果路由的消息不匹配任何绑定模式，消息将会进入黑洞。
交换机在队列与消息中间起到了中间层的作用，有了交换机我们可以实现更灵活的功能，RabbitMQ中有三种常用的交换机类型：
direct: 如果路由键匹配，消息就投递到对应的队列
fanout：投递消息给所有绑定在当前交换机上面的队列
topic：允许实现有趣的消息通信场景，使得5不同源头的消息能够达到同一个队列。topic队列名称有两个特殊的关键字。
o* 可以替换一个单词
o# 可以替换所有的单词
可以理解，direct为1v1, fanout为1v所有，topic比较灵活，可以1v任意。

 

（交换机）Exchange 类型

Exchange分发消息时根据类型的不同分发策略有区别，目前共四种类型：direct、fanout、topic、headers 。headers 匹配 AMQP 消息的 header 而不是路由键，此外 headers 交换器和 direct 交换器完全一致，但性能差很多，目前几乎用不到了，所以直接看另外三种类型：

direct

消息中的路由键（routing key）如果和 Binding 中的 binding key 一致， 交换器就将消息发到对应的队列中。路由键与队列名完全匹配，如果一个队列绑定到交换机要求路由键为“dog”，则只转发 routing key 标记为“dog”的消息，不会转发“dog.puppy”，也不会转发“dog.guard”等等。它是完全匹配、单播的模式。

fanout

每个发到 fanout 类型交换器的消息都会分到所有绑定的队列上去。fanout 交换器不处理路由键，只是简单的将队列绑定到交换器上，每个发送到交换器的消息都会被转发到与该交换器绑定的所有队列上。很像子网广播，每台子网内的主机都获得了一份复制的消息。fanout 类型转发消息是最快的。

 

topic

topic 交换器通过模式匹配分配消息的路由键属性，将路由键和某个模式进行匹配，此时队列需要绑定到一个模式上。它将路由键和绑定键的字符串切分成单词，这些单词之间用点隔开。它同样也会识别两个通配符：符号“#”和符号“”。#匹配0个或多个单词，匹配不多不少一个单词。

 

RabbitMQ的工作流程介绍

1、建立信息。Publisher定义需要发送消息的结构和内容。

2、建立Conection和Channel。由Publisher和Consumer创建连接，连接到Broker的物理节点上，同时建立Channel。Channel是建立在Connection之上的，一个Connection可以建立多个Channel。Publisher连接Virtual Host 建立Channel，Consumer连接到相应的Queue上建立Channel。

3、声明交换机和队列。声明一个消息交换机（Exchange）和队列（Queue），并设置相关属性。

4、发送消息。由Publisher发送消息到Broker中的Exchange中

5、路由转发。RabbitMQ收到消息后，根据​​消息指定的Exchange(交换机) 来查找Binding(绑定) 然后根据规则（Routing Key）分发到不同的Queue。这里就是说使用Routing Key在消息交换机（Exchange）和消息队列（Queue）中建立好绑定关系，然后将消息发送到绑定的队列中去。

6、消息接收。Consumer监听相应的Queue，一旦Queue中有可以消费的消息，Queue就将消息发送给Consumer端。

7、消息确认。当Consumer完成某一条消息的处理之后，需要发送一条ACK消息给对应的Queue。

 

虚拟主机与隔离

每一个vhost本质都是一个mini版的Rabbitmq服务器，拥有自己的队列、交换器和绑定，还拥有自己的权限机制。

 

Vhost与Rabbit就像虚拟机与物理服务器一样。

它们通过在各自实例间提供逻辑分离，允许你为不同的应用程序安全保密运行数据。

这很有用，它能将同一个Rabbit的众多客户区分开来，又可以避免队列和交换器的命名冲突。否则你可能不得不运行多个Rabbit，这将带来更多管理问题，相反，你可以只运行一个Rabbit，然后按需启动或关闭vhost。

 

当你在Rabbit里创建一个用户，用户通常会被指派给至少一个vhost，并且只能访问被指派vhost内的队列、交换器和绑定。Vhost之间是相互隔离的。

你将无法将vhost banana_tree上的交换器绑定到vhostoak_tree中的队列去。这确保了安全性与可移植性。

 

注意：当你在RabbitMQ集群上创建vhost，整个集群上都会创建该vhost，vhost不仅消除了基础架构中每一层运行一个RabbitMQ服务器的需要，同样避免了为每一层创建不同的集群。

创建vhost：rabbitmqctl add_vhost [vhost_name]
删除vhost：rabbitmqctl delete_vhost [vhost_name]
查看服务器运行的vhost：rabbitmqctl list_vhost