rabbitmq基本原理

1 rabbitmq基本原理

　　MQ全称为Message Queue, 是一种分布式应用程序的的通信方法，它是消费-生产者模型的一个典型的代表，producer往消息队列中不断写入消息，而另一端consumer则可以读取或者订阅队列中的消息。　　　　        

 　  RabbitMQ是MQ产品的典型代表，是一款基于AMQP协议可复用的企业消息系统。业务上，可以实现服务提供者和消费者之间的数据解耦，提供高可用性的消息传输机制，在实际生产中应用相当广泛。本文意在介绍Rabbitmq的基本原理，包括rabbitmq基本框架，概念，通信过程等。

2  系统架构

 Rabbitmq系统最核心的组件是Exchange和Queue，下图是系统简单的示意图。Exchange和Queue是在rabbitmq server（又叫做broker）端，producer和consumer在应用端。

 

producer&Consumer

producer指的是消息生产者，consumer消息的消费者。

Queue

消息队列，提供了FIFO的处理机制，具有缓存消息的能力。rabbitmq中，队列消息可以设置为持久化，临时或者自动删除。

  1. 设置为持久化的队列，queue中的消息会在server本地硬盘存储一份，防止系统crash，数据丢失
  2. 设置为临时队列，queue中的数据在系统重启之后就会丢失
  3. 设置为自动删除的队列，当不存在用户连接到server，队列中的数据会被自动删除

Exchange

Exchange类似于数据通信网络中的交换机，提供消息路由策略。rabbitmq中，producer不是通过信道直接将消息发送给queue，而是先发送给Exchange。一个Exchange可以和多个Queue进行绑定，producer在传递消息的时候，会传递一个ROUTING_KEY，Exchange会根据这个ROUTING_KEY按照特定的路由算法，将消息路由给指定的queue。和Queue一样，Exchange也可设置为持久化，临时或者自动删除。

# 在此的ROUTING_KEY匹配的就是binging  是不是？

Exchange有4种类型：direct(默认)，fanout, topic, 和headers，不同类型的Exchange转发消息的策略有所区别：

    1. Direct
      直接交换器，工作方式类似于单播，Exchange会将消息发送完全匹配ROUTING_KEY的Queue

    2. fanout
      广播是式交换器，不管消息的ROUTING_KEY设置为什么，Exchange都会将消息转发给所有绑定的Queue。

    3. topic
      主题交换器，工作方式类似于组播，Exchange会将消息转发和ROUTING_KEY匹配模式相同的所有队列，比如，ROUTING_KEY为user.stock的Message会转发给绑定匹配模式为 * .stock,user.stock， * . * 和#.user.stock.#的队列。（ * 表是匹配一个任意词组，#表示匹配0个或多个词组）

    4. headers
      消息体的header匹配（ignore）

Binding

所谓绑定就是将一个特定的 Exchange 和一个特定的 Queue 绑定起来。Exchange 和Queue的绑定可以是多对多的关系。

virtual host

在rabbitmq server上可以创建多个虚拟的message broker，又叫做virtual hosts (vhosts)。每一个vhost本质上是一个mini-rabbitmq server，分别管理各自的exchange，和bindings。vhost相当于物理的server，可以为不同app提供边界隔离，使得应用安全的运行在不同的vhost实例上，相互之间不会干扰。producer和consumer连接rabbit server需要指定一个vhost。

 

3 通信过程

假设P1和C1注册了相同的Broker，Exchange和Queue。P1发送的消息最终会被C1消费。基本的通信流程大概如下所示：

  1. P1生产消息，发送给服务器端的Exchange
  2. Exchange收到消息，根据ROUTINKEY，将消息转发给匹配的Queue1
  3. Queue1收到消息，将消息发送给订阅者C1
  4. C1收到消息，发送ACK给队列确认收到消息
  5. Queue1收到ACK，删除队列中缓存的此条消息

Consumer收到消息时需要显式的向rabbit broker发送basic.ack消息或者consumer订阅消息时设置auto_ack参数为true。在通信过程中，队列对ACK的处理有以下几种情况：

  1. 如果consumer接收了消息，发送ack,rabbitmq会删除队列中这个消息，发送另一条消息给consumer。
  2. 如果cosumer接受了消息, 但在发送ack之前断开连接，rabbitmq会认为这条消息没有被deliver,在consumer在次连接的时候，这条消息会被redeliver。
  3. 如果consumer接受了消息，但是程序中有bug,忘记了ack,rabbitmq不会重复发送消息。
  4. rabbitmq2.0.0和之后的版本支持consumer reject某条（类）消息，可以通过设置requeue参数中的reject为true达到目地，那么rabbitmq将会把消息发送给下一个注册的consumer。

4 发送消息流程

AMQP(高级消息队列协议 Advanced Message Queue Protocol)

AMQP当中有四个概念非常重要: 虚拟主机（virtual host），交换机（exchange），队列（queue）和绑定（binding）。一个虚拟主机持有一组交换机、队列和绑定。为什么需要多个虚拟主机呢？很简单，RabbitMQ当中，用户只能在虚拟主机的粒度进行权限控制。因此，如果需要禁止A组访问B组的交换机/队列/绑定，必须为A和B分别创 建一个虚拟主机。每一个RabbitMQ服务器都有一个默认的虚拟主机“/”。

Producer 要产生消息必须要创建一个 Exchange ，Exchange 用于转发消息，但是它不会做存储，如果没有 Queue bind 到 Exchange 的话，它会直接丢弃掉 Producer 发送过来的消息，当然如果消息总是发送过去就被直接丢弃那就没有什么意思了，一个 Consumer 想要接受消息的话，就要创建一个 Queue ，并把这个 Queue bind 到指定的 Exchange 上，然后 Exchange 会把消息转发到 Queue 那里，Queue 会负责存储消息，Consumer 可以通过主动 Pop 或者是 Subscribe 之后被动回调的方式来从 Queue 中取得消息。

 Exchange，Queue，RoutingKey

蓝色-- Client（相对于Rabbitmq Server来说）

绿色--Exchange

红色—Queue

     - 交换器（Exchange），它是发送消息的实体。

     - 队列（Queue），这是接收消息的实体。

     - 绑定器（Bind），将交换器和队列连接起来，并且封装消息的路由信息。

 Exchange指向Queue的黑色线—RoutingKey，可以将它简单的理解为一条连接Exchange和Queue的路线

 Exchange和Queue都需要通过channel来进行定义，而RoutingKey则只需要在binding时取个名字就行了。

 这一块的理解是不正确的，

 RoutingKey就像是个中间表，将两个表的数据进行多对多关联，只不过对于相同的Exchange和Queue，可以使用不同的RoutingKey重复关联多次。

一个Client发送消息，哪些Client可以收到消息，其核心就在于Exchange，RoutingKey，Queue的关系上。

 

左边的Client向右边的Client发送消息，流程：

1，  获取Conection

2，  获取Channel

3，  定义Exchange，Queue

4，  使用一个RoutingKey将Queue Binding到一个Exchange上

5，  通过指定一个Exchange和一个RoutingKey来将消息发送到对应的Queue上，

6，  接收方在接收时也是获取connection，接着获取channel，然后指定一个Queue直接到它关心的Queue上取消息，它对Exchange，RoutingKey及如何binding都不关心，到对应的Queue上去取消息就OK了

 

Broker:消息队列服务器实体

消息：每个消息都有一个路由键(routing key)的属性。就是一个简单的字符串。

connection：应用程序与broker的网络连接。

channel:几乎所有的操作都在channel中进行，channel是进行消息读写的通道。客户端可建立多个channel，每个channel代表一个会话任务。

交换机：接收消息，根据路由键转发消息到绑定的队列。

绑定：一个绑定就是基于路由键将交换机和队列连接起来的路由规则，所以交换机不过就是一个由绑定构成的路由表。

举例：一个具有路由键“key1”的消息要发送到两个队列，queueA和queueB。要做到这点就要建立两个绑定，每个绑定连接一个交换机和一个队列。两者都是由路由键“key1”触发，这种情况，交换机会复制一份消息并把它们分别发送到两个队列中。

队列：消息的容器，也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面，等待消费者连接到这个队列将其取走。

 

交换机用来接收消息，转发消息到绑定的队列，是rabbitMq中的核心。

交换机共有4种类型：direct，topic，headers和fanout。

为什么不创建一种交换机来处理所有类型的路由规则？因为每种规则匹配时的CPU开销是不同的，所以根据不同需求选择合适交换机。

举例：一个"topic"类型的交换机会将消息的路由键与类似“dog.*”的模式进行匹配。一个“direct”类型的交换机会将路由键与 “dogs”进行比较。匹配末端通配符比直接比较消耗更多的cpu,所以如果用不到“topic”类型交换机带来的灵活性，就通过“direct”类型交 换机获得更高的处理效率。

1 Direct交换机：转发消息到routingKey指定队列（完全匹配，单播）

routingKey与队列名完全匹配，如果一个队列绑定到交换机要求路由键为“dog”，则只转发routingkey标记为dog的消息，不会转发dog.puppy，也不会转发dog.guard等。

2 Topic交换机:按规则转发消息（最灵活，组播）

 Topic类型交换机通过模式匹配分配消息的routing-key属性。将路由键和某个模式进行匹配，此时队列需要绑定到一个模式上。

它将routing-key和binding-key的字符串切分成单词。这些单词之间用点隔开。它同样也会识别两个通配符：符号“#”和符号“*”。#匹配0个或多个单词，*匹配不多不少一个单词。

例如，binding key:*.stock.#匹配routing key: usd.stock和eur.stock.db，但是不匹配stock.nana。

例如，“audit.#”能够匹配到“audit.irs.corporate”，但是“audit.*”只会匹配到“audit.irs”。

 3 Fanout交换机：转发消息到所有绑定队列（最快，广播）

fanout交换机不处理路由键，简单的将队列绑定到交换机上，每个发送到交换机的消息都会被转发到与该交换机绑定的所有队列上。

很像子网广播，每台子网内的主机都获得了一份复制的消息。Fanout交换机转发消息是最快的。

 4 Note

  • 如果没有队列绑定在交换机上，则发送到该交换机上的消息会丢失。
  • 一个交换机可以绑定多个队列，一个队列可以被多个交换机绑定。
  • 还有一些其他类型的交换机类型，如header、failover、system等，现在在当前的RabbitMQ版本中均未实现。
  • 因为交换机是命名实体，声明一个已经存在的交换机，但是试图赋予不同类型是会导致错误。客户端需要删除这个已经存在的交换机，然后重新声明并且赋予新的类型。
  • 交换机的属性：
    • 持久性：如果启用，交换机将会在server重启前都有效。
    • 自动删除：如果启用，那么交换机将会在其绑定的队列都被删掉之后删除自身。
    • 惰性:如果没有声明交换机，那么在执行到使用的时候会导致异常，并不会主动声明。

队列的属性：

  • 持久性：如果启用，队列将在Server服务重启前都有效。
  • 自动删除：如果启用，那么队列将会在所有的消费者停止使用之后自动删除自身。
  • 惰性：如果没有声明队列，那么在执行到使用的时候会导致异常，并不会主动声明。
  • 排他性：如果启用，队列只能被声明它的消费者使用。        

 

参考地址：http://www.cnblogs.com/jun-ma/p/4840869.html

 http://blog.csdn.net/whycold/article/details/41119807

posted @ 2017-08-10 11:49  温艳杰  阅读(301)  评论(0)    收藏  举报