8.【RabbitMQ实战】- 发布确认高级
在生产环境中由于一些不明原因,导致 rabbitmq 重启,在 RabbitMQ 重启期间生产者消息投递失败,导致消息丢失,需要手动处理和恢复。如何才能进行 RabbitMQ 的消息可靠投递呢? 特别是在这样比较极端的情况,RabbitMQ 集群不可用的时候,无法投递的消息该如何处理呢?
消息回退(mandatory = true)
确认机制方案
如图所示生产者将消息发给broker,以下考虑两个情况
- 交换机不存在或交换机命名写错了,即交换机收不到消息如何告诉生产者(.Net版本此种情况不存在,交换机写错了会直接报错)
- RoutingKey写错了,队列收不到消息如何告诉生产者,即消息回退(以下演示这种情况)
代码架构图
RabbitmqUntils配置代码新增方法GetConfirmAdvancedQueue()
/// <summary>
/// 发布确认高级
/// </summary>
/// <returns></returns>
public static IModel GetConfirmAdvancedQueue()
{
/*
1. 声身confirm.exchange
2. 声明confirm.queue
3. 声明confirm.routingkey
4. 绑定队列与交换机
*/
var channel = RabbitmqUntils.GetChannel();
channel.ExchangeDeclare(Confirm_Exchange,"direct",false,false,null);
channel.QueueDeclare(Confirm_Queue, false, false, false, null);
channel.QueueBind(Confirm_Queue,Confirm_Exchange,Confirm_Routingkey);
return channel;
}
生产者代码
在仅开启了生产者确认机制的情况下,交换机接收到消息后,会直接给消息生产者发送确认消息,如
果发现该消息不可路由,那么消息会被直接丢弃,此时生产者是不知道消息被丢弃这个事件的。那么如何
让无法被路由的消息帮我想办法处理一下?最起码通知我一声,好自己处理。通过设置mandatory参
数可以在当消息传递过程中不可达目的地时将消息返回给生产者
using rabbitmq.common;
using RabbitMQ.Client;
using System.Text;
namespace PublishConfirm.Producer
{
public class Program
{
static void Main(string[] args)
{
Console.WriteLine("请输入要发送的消息:");
string message = Console.ReadLine();
if (string.IsNullOrEmpty(message))
{
while (true)
{
Console.WriteLine("请输入要发送的消息: {0}", message);
}
}
else
{
using var channel = RabbitmqUntils.GetConfirmAdvancedQueue();
while (true)
{
SendMsg(message, channel);
message = Console.ReadLine();
}
}
Console.ReadKey();
}
public static void SendMsg(string msg,IModel channel)
{
var body = Encoding.UTF8.GetBytes(msg);
channel.ConfirmSelect();// 开启发布确认
//演示Routingkey配置错误
//如果发布了带有“mandatory” = true 标志集的消息,但无法传递,代理将其返回给发送客户端( channel.BasicReturn)。
channel.BasicPublish(RabbitmqUntils.Confirm_Exchange, RabbitmqUntils.Confirm_Routingkey+"111", mandatory:true, null, body);
// 监听确认的消息
channel.BasicAcks += (sender, e) =>
{
Console.WriteLine($"交换机已收到:{e.DeliveryTag}");
};
//监听回退的消息
channel.BasicReturn += ((sender, e) =>
{
var body = e.Body.ToArray();
var msg = System.Text.Encoding.UTF8.GetString(body);
Console.WriteLine($"监听回退的消息{msg};RoutingKey:{e.RoutingKey};退回原因:{e.ReplyText}");
});
}
}
}
测试效果
备份交换机
有了mandatory参数和回退消息,我们获得了对无法投递消息的感知能力,有机会在生产者的消息无法被投递时发现并处理。但有时候,我们并不知道该如何处理这些无法路由的消息,最多打个日志,然后触发报警,再来手动处理。而通过日志来处理这些无法路由的消息是很不优雅的做法,特别是当生产者所在的服务有多台机器的时候,手动复制日志会更加麻烦而且容易出错。而且设置mandatory参数会增加生产者的复杂性,需要添加处理这些被退回的消息的逻辑。如果既不想丢失消息,又不想增加生产者的复杂性,该怎么做呢?前面在设置死信队列中,我们提到,可以为队列设置死信交换机来存储那些处理失败的消息,可是这些不可路由消息根本没有机会进入到队列,因此无法使用死信队列来保存消息。在RabbitMQ中,有一种备份交换机的机制存在,可以很好的应对这个问题。什么是备份交换机呢?备份交换机可以理解为RabbitMQ中交换机的“备胎”,当我们为某一个交换机声明一个对应的备份交换机时,就是为它创建一个备胎,当交换机接收到一条不可路由消息时,将会把这条消息转发到备份交换机中,由备份交换机来进行转发和处理,通常备份交换机的类型为Fanout,这样就能把所有消息都投递到与其绑定的队列中,然后我们在备份交换机下绑定一个队列,这样所有那些原交换机无法被路由的消息,就会都进入这个队列了。当然,我们还可以建立一个报警队列,用独立的消费者来进行监测和报警。
代码架构图
RabbitmqUntils.GetConfirmAdvancedQueue()方法增加代码
/// <summary>
/// 发布确认高级
/// </summary>
/// <returns></returns>
public static IModel GetConfirmAdvancedQueue()
{
/*
1. 声明confirm.exchange type = direct
2. 声明confirm.queue
3. 声明confirm.routingkey
4. 绑定队列与交换机
*/
var channel = RabbitmqUntils.GetChannel();
var arguments = new Dictionary<string, object>();
arguments.Add("alternate-exchange",Back_Exchange);
channel.ExchangeDeclare(Confirm_Exchange,"direct",true,false, arguments);
channel.QueueDeclare(Confirm_Queue, false, false, false, null);
channel.QueueBind(Confirm_Queue,Confirm_Exchange,Confirm_Routingkey);
/*
1. 声明backup.exchange type = fanout
2. 声明backup.queue,warning.queue
4. 绑定队列与交换机
5. 配置确认交换机(Confirm_Exchange)转发到备份交换机(Back_Exchange)
*/
channel.ExchangeDeclare(Back_Exchange, "fanout", true, false, null);
channel.QueueDeclare(Back_Queue,false,false, false, null);
channel.QueueDeclare(Warning_Queue,false,false, false, null);
channel.QueueBind(Back_Queue, Back_Exchange, "");
channel.QueueBind(Warning_Queue, Back_Exchange, "");
return channel;
}
生产者代码
using rabbitmq.common;
using RabbitMQ.Client;
using System.Text;
namespace PublishConfirm.Producer
{
public class Program
{
static void Main(string[] args)
{
Console.WriteLine("请输入要发送的消息:");
string message = Console.ReadLine();
if (string.IsNullOrEmpty(message))
{
while (true)
{
Console.WriteLine("请输入要发送的消息: {0}", message);
}
}
else
{
var channel = RabbitmqUntils.GetConfirmAdvancedQueue();
while (true)
{
SendMsg(message, channel);
message = Console.ReadLine();
}
}
Console.ReadKey();
}
public static void SendMsg(string msg,IModel channel)
{
var body1 = Encoding.UTF8.GetBytes("路由正常_"+msg);
var body2 = Encoding.UTF8.GetBytes("路由不正常_" + msg);
channel.ConfirmSelect();// 开启发布确认
channel.BasicPublish(RabbitmqUntils.Confirm_Exchange, RabbitmqUntils.Confirm_Routingkey, mandatory: true, null, body1);
//演示Routingkey配置错误
//如果发布了带有“mandatory” = true 标志集的消息,但无法传递,代理将其返回给发送客户端( channel.BasicReturn)。
channel.BasicPublish(RabbitmqUntils.Confirm_Exchange, RabbitmqUntils.Confirm_Routingkey+"111", mandatory:true, null, body2);
// 监听确认的消息
channel.BasicAcks += (sender, e) =>
{
Console.WriteLine($"交换机已收到:{e.DeliveryTag}");
};
//监听回退的消息
channel.BasicReturn += ((sender, e) =>
{
var body = e.Body.ToArray();
var msg = System.Text.Encoding.UTF8.GetString(body);
Console.WriteLine($"监听回退的消息{msg};RoutingKey:{e.RoutingKey};退回原因:{e.ReplyText}");
});
}
}
}
消费者者代码
using rabbitmq.common;
using RabbitMQ.Client;
using RabbitMQ.Client.Events;
using System.Text;
namespace PublishConfirm.Consumer
{
public class Program
{
static void Main(string[] args)
{
if (args[0] == "client1")
{
ConfirmConsumer();
} else if (args[0] == "client2")
{
BackupConsumer();
}
else if (args[0] == "client3")
{
WarningConsumer();
}
Console.ReadKey();
}
public static void ConfirmConsumer()
{
Console.WriteLine("ConfirmConsumer开始接受消息:");
var channel = RabbitmqUntils.GetConfirmAdvancedQueue();
var consumer = new EventingBasicConsumer(channel);
channel.BasicConsume(RabbitmqUntils.Confirm_Queue, false, consumer);
consumer.Received += ((sender, e) =>
{
var body = e.Body.ToArray();
var message = Encoding.UTF8.GetString(body);
Console.WriteLine($"ConfirmConsumer{DateTime.Now} 接收消息:{message}");
channel.BasicAck(e.DeliveryTag, false);
});
}
public static void BackupConsumer()
{
Console.WriteLine("BackupConsumer开始接受消息:");
var channel = RabbitmqUntils.GetConfirmAdvancedQueue();
var consumer = new EventingBasicConsumer(channel);
channel.BasicConsume(RabbitmqUntils.Back_Queue, false, consumer);
consumer.Received += ((sender, e) =>
{
var body = e.Body.ToArray();
var message = Encoding.UTF8.GetString(body);
Console.WriteLine($"BackupConsumer{DateTime.Now} 接收消息:{message}");
channel.BasicAck(e.DeliveryTag, false);
});
}
public static void WarningConsumer()
{
Console.WriteLine("WarningConsumer开始接受消息:");
var channel = RabbitmqUntils.GetConfirmAdvancedQueue();
var consumer = new EventingBasicConsumer(channel);
channel.BasicConsume(RabbitmqUntils.Warning_Queue, false, consumer);
consumer.Received += ((sender, e) =>
{
var body = e.Body.ToArray();
var message = Encoding.UTF8.GetString(body);
Console.WriteLine($"WarningConsumer{DateTime.Now} 接收消息:{message}");
channel.BasicAck(e.DeliveryTag, false);
});
}
}
}
测试效果
注意:测试时我们需要把原来的**confirm.queue**
删除,因为我们修改了属性,否则会报错
mandatory参数与备份交换机可以一起使用的时候,如果两者同时开启,经过上面结果显示答案是备份交换机优先级高。