RabbitMQ 消息队列
第一章 RabbitMQ简介
1.1 什么是消息中间件
消息是指在应用间传送的数据。消息可以非常简单,比如只包含文本字符串、Json等,也可以很复杂,比如内嵌对象。
消息队列中间件是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下扩展进程间的通信。
一般有两种传递模式:点对点模式和发布/订阅模式。点对点模式是基于队列的,消息生产者发送消息到队列,消息消费者从队列中接收消息,队列的存在使得消息的异步传输称为可能。发布订阅模式定义了如何向一个内容节点发布和订阅消息,这个内容节点称为主题,主题可以认为是消息传递的中介,消息发布者将消息发布到某个主题,而消息订阅者从主题中订阅想消息。主题使得消息订阅者与消息的发布者互相保持独立,不需要进行接触即可保证消息的传递,发布/订阅模式在消息的一对多广播时采用。
比较流行的消息中间件有:RabbitMQ、Kafka、ActiveMQ、RocketMQ等。
消息中间件适用于需要可靠的数据传送的分布式环境。采用消息中间件的系统中,不同的对象之间通过传递消息来激活对方的事件,已完成相应的操作。发送者将消息发送给消息服务器,消息服务器将消息存放在若干队列中,在合适的时候,再将消息转发给接收者。
1.2 消息中间件的作用
解耦:在项目启动之初来预测将来会碰到什么需求是极其困难的。消息中间件在处理过程中间插入了一个隐含的、基于数据的接口层,两边的处理过程都要实现这一接口,这允许你独立地扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束即可。
冗余(存储):有些情况下,处理数据的过程会失败。消息中间件可以把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。
扩展性:因为消息中间件解耦了应用程序的处理过程,所以提高消息入队和处理的效率是很容易的,只要另外增加处理过程即可,不需要改变代码,也不需要调节参数。
削峰:在访问量剧增的情况下,应用仍然需要继续发挥作用,但是这样的突发流量并不常见。如果以能处理这类峰值为标准而投入资源,无疑是巨大的浪费。使用消息中间件能够使关键组件支撑突发方访压力,不会因为突发的超负荷请求而完全奔溃。
可恢复性:当系统一部分组件失效时,不会影响到整个系统,消息中间件降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入消息中间件中的消息仍然可以在系统恢复后进行处理。
顺序保证:在大多数情景下,数据处理的顺序很重要,大部分消息中间件支持一定程度上的顺序性。
缓冲:在任何重要的系统中,都会存在需要不同处理时间的元素。消息中间件通过一个缓冲层来帮助任务最高效率地执行,写入消息中间件的处理会尽可能快速。该缓冲层有助于控制和优化数据流经过系统的速度。
异步通信:在很多时候应用不想在不需要立即处理消息。消息中间件提供了异步处理机制,允许应用把一些消息放入消息中间件中,但不立即处理它,在之后需要的时候再慢慢处理。
1.3 RabbitMQ的起源
RabbitMQ是采用Erlang语言实现的AMQP(Advanced Message Queuing Protocol,高级消息队列协议)的消息 中间件,它最初起源于金融系统,用于在分布式系统中存储转发消息。
1.4 RabbitMQ的安装及简单实用
本示例演示在ubuntu18.04.3中安装和使用rabbitMQ
sudo apt-get update -y
sudo apt-get install erlang-nox rabbitmq-server -y
sudo rabbitmq-server start sudo rabbitmq-server stop sudo rabbitmq-server restart sudo rabbitmqctl status
添加用户并且赋予权限
sudo rabbitmqctl add_user admin admin sudo rabbitmqctl set_user_tags admin administrator sudo rabbitmqctl set_permissions -p / admin '.*' '.*' '.*' sudo rabbitmq-plugins enable rabbitmq_management
sudo rabbitmqctl change_password admin 'admin'
第二章 RabbitMQ 入门
2.1 相关概念介绍
RabbitMQ整体上市一个是生产者与消费者模型。主要负责接收、存储和转发消息。
RabbitMQ的整体模型架构如下图所示:
2.1.1 生产者和消费者
Producer:生产者,就是投递消息的一方。消息一般可以包含2个部分:消息体和标签(Label)。消息体也可以称之为payload,在实际应用中,消息体一般是一个带有业务逻辑结构的数据,比如一个JSON字符串。
Consumer:消费者,就算是接收消息的一方。
Broker:消息中间件的服务节点。
对于RabbitMQ来说,一个RabbitMQ Broker可以简单地看作一个RabbitMQ服务节点,或者RabbitMQ服务实例。大多数情况下也可以将一个RabbitMQ Broker看作一台RabbitMQ服务器。
下图展示了生产者将消息存入RabbitMQ Broker,以及消费者从Broker中消费数据的整个流程。
2.1.2 队列
Queue:队列,是RabbitMQ的内部对象,用于存储消息。
RabbitMQ中消息都只能存储在队列中。U盾讴歌消费者可以订阅同一个队列,这时队列中的消息会被平均分摊(Round-Robin,即轮询)给多个消费者进行处理,而不是每个消费者都收到所有的消息并处理。
RabbitMQ不支持队列层面的广播消息,如果需要广播消息,需要在其上进行二次开发,处理逻辑会变得异常复杂,同时也不建议这么做。
2.1.3 交换器、路由件、绑定
Exchange:交换器。生产者将消息发送到Exchange(交换器,通常也可以用大写的“X”来表示)。由交换器将消息路由到一个或者多个队列中。如果路由不到,或许会返回给生产者,或许直接丢弃。
RoutingKey:路右键。生产者将消息发给交换器的时候,一般会指定一个RoutingKey,用来指定这个消息的路由规则,而这个Routing Key需要与交换器类型和绑定建(BindingKey)联合使用才能最终生效。
在交换器类型和绑定建(BindingKey)固定的情况下,生产者可以发送消息给交换器时,通过指定RoutingKey来决定消息流向哪里。