RabbitMQ之交换机
在上一节中,我们创建了一个工作队列。我们假设的是工作队列背后,每个任务都恰好交付给一个消费者(工作进程)。在这一部分中,我们将做一些完全不同的事情-我们将消息传达给多个消费者。这种模式称为“发布/订阅”。
为了说明这种模式,我们将构建一个简单的日志系统。它将由两个程序组成:第一个程序将发出日志消息,第二个程序是消费者。其中我们会启动两个消费者,其中一个消费者接收到消息后把日志存储在磁盘,另一个消费者接收到消息后把消息打印在屏幕上,事实上第一个程序发出的日志消息将广播给所有消费者。
1. Exchanges
1.1 Exchanges 概念
RabbitMQ 消息传递模型的核心思想是:生产者生产的消息从不会直接发送到队列。实际上,通常生产者甚至都不知道这些消息传递到了哪些队列中。
相反,生产者只能将消息发送到交换机(exchange),交换机工作的内容非常简单,一方面它接收来自生产者的消息,另一方面将他们推入队列。交换机必须确切知道如何处理收到的消息。是应该把这些消息放到特定队列还是说把他们放到许多队列中还是应该丢弃他们。这就得由叫交换机的类型来决定。
1.2 Exchanges 的类型
- 直接(direct)
- 主题(topic)
- 标题(headers)
- 扇出(fanout)
1.3 无名 exchange
在之前我们对exchange一无所知,但仍然能够将消息发送到队列。之前能实现的原因是我们使用的是默认交换,我们通过空字符串("")
进行标识。
channel.basicPublish("", "hello", null, message.getBytes());
第一个参数就是交换机的名称。空字符串标识默认或无名交换机:消息能路由发送到队列中其实是由 routingKey(bindingKey)
绑定key
指定的, 如果它存在的话。
2. 临时队列
之前我们使用的是具有特定名称的队列(例如hello 和 ack_queue)。队列的名称对我们来说至关重要,我们需要指定我们的消费者去消费哪个队列的消息。
每当我们连接到 Rabbit 时,我们都需要一个全新的空队列,为此我们可以创建一个具有随机名称的队列,或者能让服务器为我们选择一个随机队列名称那就更好了。其次一旦我们断开了消费者的连接,队列将被自动删除。
- 创建临时队列的方式如下:
String queueName = channel.queueDeclare().getQueue();
- 创建出来之后张这个样子:
3. 绑定(bindings)
什么是 binding 呢,binding 其实是 exchange 和queue 之间的桥梁,它告诉我们 exchange 和那个队列进行了绑定关系。比如说下面这张图告诉我们的就是X 与 Q1 和Q2 进行了绑定
4. Fanout
4.1 Fanout 介绍
Fanout 这种类型非常简单。正如从名称中猜到的那样,它是将接受到的所有消息广播到它知道的所有队列中。系统中默认有些 exchange 类型
4.2 Fanout 实战
Logs 和临时对列的绑定关系如下图
ReceiverLog01接受到的消息打印在控制台
public class ReceiveLogs01 {
private static final String EXCHANGE_NAME = "logs";
public static void main(String[] args) throws Exception {
Channel channel = RabbitMqUtils.getChannel();
channel.exchangeDeclare(EXCHANGE_NAME, "fanout");
/**
* 生成一个临时的队列 队列的名称是随机的
* 当消费者断开和该队列的连接时 队列自动删除
*/
String queueName = channel.queueDeclare().getQueue();
// 把该临时队列绑定我们的 exchange 其中人routingKey (也称为 binding key )为空字符串
channel.queueBind(queueName, EXCHANGE_NAME, "");
System.out.println("等待接受消息,把接受到的消息打印在屏幕......");
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
String message = new String(delivery.getBody(), "UTF-8");
System.out.println("控制台打印接受到的消息" + message);
};
channel.basicConsume(queueName, true, deliverCallback, consumerTag -> {
});
}
}
ReceiveLogs02 将接收到的消息存储在磁盘
public class ReceiveLogs02 {
private static final String EXCHANGE_NAME = "logs";
public static void main(String[] args) throws Exception {
Channel channel = RabbitMqUtils.getChannel();
channel.exchangeDeclare(EXCHANGE_NAME, "fanout");
/**
* 生成一个临时的队列 队列的名称是随机的
* 当消费者断开和该队列的连接时 队列自动删除
*/
String queueName = channel.queueDeclare().getQueue();
// 把该临时队列绑定我们的 exchange 其中 routingKey 也称为 binding key 为空字符串
channel.queueBind(queueName, EXCHANGE_NAME, "");
System.out.println("等待接受消息,把接收到的消息写到文件......");
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
String message = new String(delivery.getBody(), "UTF-8");
System.out.println("控制台打印接受到的消息" + message);
};
channel.basicConsume(queueName, true, deliverCallback, consumerTag -> {
});
}
}
EmitLog 发送消息给两个消费者接受
public class EmitLog {
private static final String EXCHANGE_NAME = "logs";
public static void main(String[] args) throws Exception {
try (Channel channel = RabbitMqUtils.getChannel()) {
/**
* 声明一个 exchange
* 1. exchange的名称
* 2. exchange的类型
*/
channel.exchangeDeclare(EXCHANGE_NAME, "fanout");
Scanner sc = new Scanner(System.in);
System.out.println("请输入信息");
while (sc.hasNext()) {
String message = sc.nextLine();
channel.basicPublish(EXCHANGE_NAME, "", null, message.getBytes("UTF-8"));
System.out.println("生产者发出消息" + message);
}
}
}
}
5. Direct exchange
5.1 Direct exchange 介绍
我们的日志系统将所有消息广播给所有消费者,对此我们想做出一些改变,例如我们希望将日志消息写入磁盘的程序仅接受严重错误(errors),而不存储那些警告(warning)或者信息(info)日志消息避免浪费磁盘空间。Fanout 这种交换类型并不能给我们带来很大的灵活性,他只能进行无意识的广播,在这里我们将使用 direct 这种类型来进行替换,这种类型的工作方式是,消息只能去它绑定的 routingKey 队列中去。
在上面这张图中,我们可以看到X绑定了两个队列,绑定类型是direct。队列Q1绑定键为 orange ,队列Q2 绑定键有两个:一个绑定键为 black,另一个绑定键为 green。
在这种绑定情况下,生产者发布消息到 exchange上,绑定键为 orange 的消息会被发布到队列 Q1 。绑定键为 blakc 和 green 的消息会被发布到队列Q2,其他消息类型的消息将被丢弃。
5.2 多重绑定
当然如果 exchange 的绑定类型是 direct,但是它绑定的多个队列的key如果都相同,在这种情况下虽然绑定类型是 direct 但它表现的就和 fanout 有点类似了,就跟广播差不多,如山图所示。
5.3 实战
public class ReceiveLogsDirect01 {
private static final String EXCHANGE_NAME = "direct_logs";
public static void main(String[] argv) throws Exception {
Channel channel = RabbitMqUtils.getChannel();
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
String queueName = "disk";
channel.queueDeclare(queueName, false, false, false, null);
channel.queueBind(queueName, EXCHANGE_NAME, "error");
System.out.println("等待接收消息........... ");
DeliverCallback deliverCallback = (consumerTag, delivery) ->
{
String message = new String(delivery.getBody(), "UTF-8");
message = "接收绑定键:" + delivery.getEnvelope().getRoutingKey() + ",消息:" + message;
File file = new File("C:\\work\\rabbitmq_info.txt");
FileUtils.writeStringToFile(file, message, "UTF-8");
System.out.println("错误日志已经接收");
};
channel.basicConsume(queueName, true, deliverCallback, consumerTag -> {
});
}
}
public class ReceiveLogsDirect02 {
private static final String EXCHANGE_NAME = "direct_logs";
public static void main(String[] argv) throws Exception {
Channel channel = RabbitMqUtils.getChannel();
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
String queueName = "console";
channel.queueDeclare(queueName, false, false, false, null);
channel.queueBind(queueName, EXCHANGE_NAME, "info");
channel.queueBind(queueName, EXCHANGE_NAME, "warning");
System.out.println("等待接收消息........... ");
DeliverCallback deliverCallback = (consumerTag, delivery) ->
{
String message = new String(delivery.getBody(), "UTF-8");
System.out.println(" 接收绑定键 :" + delivery.getEnvelope().getRoutingKey() + ", 消息:" + message);
};
channel.basicConsume(queueName, true, deliverCallback, consumerTag -> {
});
}
}
public class EmitLogDirect {
private static final String EXCHANGE_NAME = "direct_logs";
public static void main(String[] argv) throws Exception {
try (Channel channel = RabbitMqUtils.getChannel()) {
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
// 创建多个 bindingKey
Map<String, String> bindingKeyMap = new HashMap<>();
bindingKeyMap.put("info", "普通 info 信息");
bindingKeyMap.put("warning", "警告 warning 信息");
bindingKeyMap.put("error", "错误 error 信息");
// debug 没有消费这接收这个消息 所有就丢失了
bindingKeyMap.put("debug", "调试 debug 信息");
for (Map.Entry<String, String> bindingKeyEntry : bindingKeyMap.entrySet()) {
String bindingKey = bindingKeyEntry.getKey();
String message = bindingKeyEntry.getValue();
channel.basicPublish(EXCHANGE_NAME, bindingKey, null, message.getBytes("UTF-8"));
System.out.println("生产者发出消息:" + message);
}
}
}
}
6. Topics
6.1 之前类型的问题
在上面,我们改进了日志记录系统。我们没有使用只能进行随机广播的 fanout 交换机,而是使用了 direct 交换机,从而有能实现有选择性地接受日志。
尽管使用 direct 交换机改进了我们的系统,但是它仍然存在局限性,比方说我们想接受的日志类型有info.base 和 info.advantage ,某个队列只想要 info.base 的消息,那这个时候 direct 就办不到了。 这个时候就只能使用 topic 类型。
6.2 Topic 的要求
发送到的类型是 topic 交换机的消息的 routingKey 不能随意些,必须满足一定的小球,它必须是一个单词列表,以点号分隔开。这些单词可以是任意单词,比如说:“stock.usd.nyse”,“nyse.vmw”,“quick.orange.rabbit” 这种类型的。当然这个单词列表最多不能超过255个字节。
在这个规则列表中,其中有两个交替符是大家需要注意的
- *(星号)可以代替一个单词
- #(井号)可以代替零个或多个单词
6.3 Topic 匹配案例
下图绑定关系如下
Q1 --> 绑定的是
中间带 orange 带 3 个单词的字符串(*.range.*
)
Q2 --> 绑定的是
最后一个单词是 rabbit 的3 个单词 (*.*.rabbit
)
第一个单词是 lazy 的多个单词(lazy.#
)
上图是一个队列绑定关系图,我们来看看他们之间数据接受情况是怎么样的
topic | 说明 |
---|---|
quick.orange.rabbit | 被队列Q1Q2接收到 |
lazy.orange.elephant | 被队列Q1Q2接收到 |
quick.orange.fox | 被队列Q1接收到 |
lazy.brown.fox | 被队列Q2接收到 |
lazy.pink.rabbit | 虽然满足两个绑定但纸杯队列Q2接受一次 |
quick.brown.fox | 不匹配任何绑定不会被任何队列接受到会被丢弃 |
lazy.orange.male.rabbit | 是四个单词但匹配Q2 |
当队列关系是下列这种情况时需要引起注意
- 当一个队列绑定键是
#
,那么这个队列将接受所有数据,就有点像 fanout 了 - 如果队列绑定键中没有
#
和*
,那么该队列绑定类型就是 direct 了
6.4 实战
public class EmitLogTopic {
private static final String EXCHANGE_NAME = "topic_logs";
public static void main(String[] argv) throws Exception {
try (Channel channel = RabbitMqUtils.getChannel()) {
channel.exchangeDeclare(EXCHANGE_NAME, "topic");
/**
* Q1-->绑定的是
* 中间带 orange 带 3 个单词的字符串(*.orange.*)
* Q2-->绑定的是
* 最后一个单词是 rabbit 的 3 个单词(*.*.rabbit)
* 第一个单词是 lazy 的多个单词(lazy.#)
*
*/
Map<String, String> bindingKeyMap = new HashMap<>();
bindingKeyMap.put("quick.orange.rabbit", "被队列 Q1Q2 接收到");
bindingKeyMap.put("lazy.orange.elephant", "被队列 Q1Q2 接收到");
bindingKeyMap.put("quick.orange.fox", "被队列 Q1 接收到");
bindingKeyMap.put("lazy.brown.fox", "被队列 Q2 接收到");
bindingKeyMap.put("lazy.pink.rabbit", "虽然满足两个绑定但只被队列 Q2 接收一次");
bindingKeyMap.put("quick.brown.fox", "不匹配任何绑定不会被任何队列接收到会被丢弃");
bindingKeyMap.put("quick.orange.male.rabbit", "是四个单词不匹配任何绑定会被丢弃");
bindingKeyMap.put("lazy.orange.male.rabbit", "是四个单词但匹配 Q2");
for (Map.Entry<String, String> bindingKeyEntry :
bindingKeyMap.entrySet()) {
String bindingKey =
bindingKeyEntry.getKey();
String message = bindingKeyEntry.getValue();
channel.basicPublish(EXCHANGE_NAME, bindingKey, null,
message.getBytes("UTF-8"));
System.out.println("生产者发出消息" + message);
}
}
}
}
public class ReceiveLogsTopic01 {
private static final String EXCHANGE_NAME = "topic_logs";
public static void main(String[] argv) throws Exception {
Channel channel = RabbitMqUtils.getChannel();
channel.exchangeDeclare(EXCHANGE_NAME, "topic");
// 声明 Q1 队列与绑定关系
String queueName = "Q1";
channel.queueDeclare(queueName, false, false, false, null);
channel.queueBind(queueName, EXCHANGE_NAME, "*.orange.*");
System.out.println("等待接收消息........... ");
DeliverCallback deliverCallback = (consumerTag, delivery) ->
{
String message = new String(delivery.getBody(), "UTF-8");
System.out.println(" 接 收 队 列 :" + queueName + " 绑 定 键:" + delivery.getEnvelope().getRoutingKey() + ", 消息:" + message);
};
channel.basicConsume(queueName, true, deliverCallback, consumerTag -> {
});
}
}
public class ReceiveLogsTopic02 {
private static final String EXCHANGE_NAME = "topic_logs";
public static void main(String[] argv) throws Exception {
Channel channel = RabbitMqUtils.getChannel();
channel.exchangeDeclare(EXCHANGE_NAME, "topic");
// 声明 Q2 队列与绑定关系
String queueName = "Q2";
channel.queueDeclare(queueName, false, false, false, null);
channel.queueBind(queueName, EXCHANGE_NAME, "*.*.rabbit");
channel.queueBind(queueName, EXCHANGE_NAME, "lazy.#");
System.out.println("等待接收消息........... ");
DeliverCallback deliverCallback = (consumerTag, delivery) ->
{
String message = new String(delivery.getBody(), "UTF-8");
System.out.println(" 接 收 队 列 :" + queueName + " 绑 定 键:" + delivery.getEnvelope().getRoutingKey() + ", 消息:" + message);
};
channel.basicConsume(queueName, true, deliverCallback, consumerTag -> {
});
}
}