消息的可靠性投递

消息的可靠性投递

问题引入

正常的下单流程

image-20240806092424473故障情况1：

image-20240806092503472

消息没有发送到消息队列上，后果：消费者拿不到消息，业务功能缺失，数据错误

故障情况2：

image-20241025191102949

消息成功存入消息队列，但是消息队列服务器宕机了，原本保存在内存中的消息也丢失了，即使服务器重新启动，消息也找不回来了。后果：消费者拿不到消息，业务功能缺失，数据错误

故障情况3：

image-20240806092653865

消息成功存入消息队列，但是消费端出现问题，例如：宕机、抛异常等等。后果：业务功能缺失，数据错误

解决方案

故障情况1：消息没有发送到消息队列在生产者端进行确认，具体操作中我们会分别针对交换机和队列来确认，如果没有成功发送到消息队列服务器上，那就可以尝试重新发送。

故障情况2：消息队列服务器宕机导致内存中消息丢失解决思路：消息持久化到硬盘上，哪怕服务器重启也不会导致消息丢失。

故障情况3：消费端宕机或抛异常导致消息没有成功被消费消费端消费消息成功，给服务器返回ACK信息，然后消息队列删除该消息消费端消费消息失败，给服务器端返回NACK信息，同时把消息恢复为待消费的状态，这样就可以再次取回消息，重试一次（当然，这就需要消费端接口支持幂等性。）

故障1解决：生产者端消息确认机制

在使用 RabbitMQ 的时候，作为消息发送方希望杜绝任何消息丢失或者投递失败场景。RabbitMQ 为我们提供了两种方式用来控制消息的投递可靠性模式。

confirm 确认模式

return 退回模式

rabbitmq 整个消息投递的路径为：

producer—>rabbitmq broker—>exchange—>queue—>consumer

消息从 producer 到 exchange 则会返回一个 confirmCallback 。

消息从 exchange–>queue 投递失败则会返回一个 returnCallback 。

我们将利用这两个 callback 控制消息的可靠性投递

搭建环境

1、配置POM

<parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>3.0.5</version>
</parent>

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-amqp</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
    </dependency>
     <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
    </dependency>
</dependencies>

2、配置主启动类

package com.chs.mq;  
  
import org.springframework.boot.SpringApplication;  
import org.springframework.boot.autoconfigure.SpringBootApplication;  
  
@SpringBootApplication
public class RabbitMQProducerMainType {

    public static void main(String[] args) {
        SpringApplication.run(RabbitMQProducerMainType.class, args);  
    }

}

3、YAML

注意：publisher-confirm-type和publisher-returns是两个必须要增加的配置，如果没有则本节功能不生效

spring:
  rabbitmq:
    host: 192.168.188.66
    port: 5672
    username: admin
    password: admin
    virtual-host: /
    publisher-confirm-type: CORRELATED # 交换机的确认
    publisher-returns: true # 队列的确认

配置类说明

我们需要声明回调函数来接收RabbitMQ服务器返回的确认信息：

方法名 方法功能 所属接口 接口所属类
confirm() 确认消息是否发送到交换机 ConfirmCallback RabbitTemplate
returnedMessage() 确认消息是否发送到队列 ReturnsCallback RabbitTemplate

然后，就是对RabbitTemplate的功能进行增强，因为回调函数所在对象必须设置到RabbitTemplate对象中才能生效。

原本RabbitTemplate对象并没有生产者端消息确认的功能，要给它设置对应的组件才可以。

而设置对应的组件，需要调用RabbitTemplate对象下面两个方法：

设置组件调用的方法 所需对象类型
setConfirmCallback() ConfirmCallback接口类型
setReturnCallback() ReturnCallback接口类型

API说明

ConfirmCallback接口

这是RabbitTemplate内部的一个接口，源代码如下：

	/**
	 * A callback for publisher confirmations.
	 *
	 */
	@FunctionalInterface
	public interface ConfirmCallback {

		/**
		 * Confirmation callback.
		 * @param correlationData correlation data for the callback.
		 * @param ack true for ack, false for nack
		 * @param cause An optional cause, for nack, when available, otherwise null.
		 */
		void confirm(@Nullable CorrelationData correlationData, boolean ack, @Nullable String cause);

	}

生产者端发送消息之后，回调confirm()方法

  • ack参数值为true：表示消息成功发送到了交换机
  • ack参数值为false：表示消息没有发送到交换机
  • correlationData：

ReturnCallback接口

同样也RabbitTemplate内部的一个接口，源代码如下：

	/**
	 * A callback for returned messages.
	 */
	@FunctionalInterface
	public interface ReturnsCallback {

		/**
		 * Returned message callback.
		 * @param returned the returned message and metadata.
		 */
		void returnedMessage(ReturnedMessage returned);

	}

注意：接口中的returnedMessage()方法仅在消息没有发送到队列时自动被调用

ReturnedMessage类中主要属性含义如下：

属性名 类型 含义
message org.springframework.amqp.core.Message 消息以及消息相关数据
replyCode int 应答码，类似于HTTP响应状态码
replyText String 应答码说明
exchange String 交换机名称
routingKey String 路由键名称

4、配置类代码

①要点1

加@Component注解，加入IOC容器

②要点2

配置类自身实现ConfirmCallback、ReturnCallback这两个接口，然后通过this指针把配置类的对象设置到RabbitTemplate对象中。

操作封装到了一个专门的void init()方法中。

为了保证这个void init()方法在应用启动时被调用，我们使用@PostConstruct注解来修饰这个方法。

关于@PostConstruct注解大家可以参照以下说明：

@PostConstruct注解是Java中的一个标准注解，它用于指定在对象创建之后立即执行的方法。当使用依赖注入（如Spring框架）或者其他方式创建对象时，@PostConstruct注解可以确保在对象完全初始化之后，执行相应的方法。

使用@PostConstruct注解的方法必须满足以下条件：

  1. 方法不能有任何参数。
  2. 方法必须是非静态的。
  3. 方法不能返回任何值。

当容器实例化一个带有@PostConstruct注解的Bean时，它会在调用构造函数之后，并在依赖注入完成之前调用被@PostConstruct注解标记的方法。这样，我们可以在该方法中进行一些初始化操作，比如读取配置文件、建立数据库连接等。

③代码

package com.chs.mq.config;

import jakarta.annotation.PostConstruct;
import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.core.ReturnedMessage;
import org.springframework.amqp.rabbit.connection.CorrelationData;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

@Component
@Slf4j
public class MQProducerAckConfig implements RabbitTemplate.ConfirmCallback, RabbitTemplate.ReturnsCallback{

    @Autowired
    private RabbitTemplate rabbitTemplate;

    //@PostConstruct方法在依赖注入完成后立即执行
    @PostConstruct
    public void init() {
        rabbitTemplate.setConfirmCallback(this);
        rabbitTemplate.setReturnsCallback(this);
    }
    // 当生产者投递消息到交换机上，无论是否成功，生产者端的confirm机制的回调函数都会执行。
    @Override
    public void confirm(CorrelationData correlationData, boolean ack, String cause) {
        if (ack) {
            log.info("消息发送到交换机成功！数据：" + correlationData);
        } else {
            log.info("消息发送到交换机失败！数据：" + correlationData + " 原因：" + cause);
        }
    }
    // 当交对换机投递消息到队列上失败时，return机制的回调函数才会执行。
    @Override
    public void returnedMessage(ReturnedMessage returned) {
        log.info("消息主体: " + new String(returned.getMessage().getBody()));
        log.info("应答码: " + returned.getReplyCode());
        log.info("描述：" + returned.getReplyText());
        log.info("消息使用的交换器 exchange : " + returned.getExchange());
        log.info("消息使用的路由键 routing : " + returned.getRoutingKey());
    }
}

当生产者投递消息到交换机上，无论是否成功，生产者端的confirm机制的回调函数都会执行。

当交对换机投递消息到队列上失败时，return机制的回调函数才会执行。

5、发送消息测试

package com.chs;
import org.junit.jupiter.api.Test;
import org.springframework.amqp.rabbit.connection.CorrelationData;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

@SpringBootTest
public class ProduceAppTest {
    @Autowired
    private RabbitTemplate rabbitTemplate;
    @Test
    public void test05(){
        // 传输CorrelationData对象，发送消息到交换机后只能接收该对象
        CorrelationData correlationData = new CorrelationData();
        correlationData.setId("1245");
        // 测试交换机名称输对，routing key 输错 
        rabbitTemplate.convertAndSend("exchange_direct","keyss","你好呀",correlationData);
    }
}

通过调整代码，测试如下三种情况：

  • 交换机正确、路由键正确
  • 交换机正确、路由键不正确，无法发送到队列
  • 交换机不正确，无法发送到交换机

接收结果

image-20241025200725060

故障2解决：交换机和队列持久化

测试非持久化交换机和队列

1、创建非持久化交换机

image-20231106192621173

创建之后，可以在列表中看到：

image-20231106192708597

2、创建非持久化队列

image-20231106195216265

创建之后，可以在列表中看到：

image-20231106195132627

3、绑定

image-20231106195748319

4、重启RabbitMQ服务器

docker restart rabbitmq

结论：临时性的交换机和队列也能够接收消息，但是重启之后，刚才临时性的交换机和队列都没了。在交换机和队列这二者中，队列是消息存储的容器，队列没了，消息就也跟着没了。

测试持久化的交换机和队列

我们其实不必专门创建持久化的交换机和队列，因为它们默认就是持久化的。

结论

在后台管理界面创建交换机和队列时，默认就是持久化的模式。

此时消息也是持久化的，不需要额外设置。

故障3解决：消费端消息确认

ACK

ACK是acknowledge的缩写，表示已确认

默认情况

默认情况下，消费端取回消息后，默认会自动返回ACK确认消息，所以在前面的测试中消息被消费端消费之后，RabbitMQ得到ACK确认信息就会删除消息

但实际开发中，消费端根据消息队列投递的消息执行对应的业务，未必都能执行成功，如果希望能够多次重试，那么默认设定就不满足要求了，所以还是要修改成手动确认

一、创建消费端

1、配置POM

<parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>3.0.5</version>
</parent>

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-amqp</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
    </dependency>
</dependencies>

2、YAML

增加针对监听器的设置：

spring:
  rabbitmq:
    host: 192.168.188.66
    port: 5672
    username: admin
    password: admin
    virtual-host: /
    listener:
      simple:
        acknowledge-mode: manual # 把消息确认模式改为手动确认

3、配置主启动类

package com.chs.mq;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class RabbitMQConsumerMainType {
    public static void main(String[] args) {
        SpringApplication.run(RabbitMQConsumerMainType.class, args);
    }

}

二、消费端监听器

1、创建监听器类

package com.chs.config;
import com.rabbitmq.client.Channel;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.annotation.Exchange;
import org.springframework.amqp.rabbit.annotation.Queue;
import org.springframework.amqp.rabbit.annotation.QueueBinding;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;
import java.io.IOException;
@Component
public class MyMessageListener {
    // 修饰监听方法
    //当队列和交换机不存在时，会自动创建
    @RabbitListener(
      // 设置绑定关系
      bindings = @QueueBinding(

        // 配置队列信息：durable 设置为 true 表示队列持久化；autoDelete 设置为 false 表示关闭自动删除
        value = @Queue(value = "Q1", durable = "true", autoDelete = "false"),

     // 配置交换机信息：durable 设置为 true 表示队列持久化；autoDelete 设置为 false 表示关闭自动删除,并指定交换机类型。
         exchange = @Exchange(value = "exchange_direct", type = "direct",durable = "true", autoDelete = "false"),
         // 配置路由键信息
         key = {"keys"}))
    
// dataString:消息内容，类型的选择要和发布消息时对应的类型要一致
// message: 消息内容被Rabbitmq封装成的一个对象
//channel: 当前客户端和Rabbitmq进行交互时，所使用的通道。利用通道对象，可以调用其中的方法(3个)实现消费者端的手动确认是否删除队列中消息。
    public void processMessage(String dataString, Message message, Channel channel) throws IOException {

        // 1、获取当前消息的 deliveryTag 值备用
        long deliveryTag = message.getMessageProperties().getDeliveryTag();

        try {
            // 2、正常业务操作
            log.info("消费端接收到消息内容：" + dataString);
            
            // System.out.println(10 / 0);

            // 3、给 RabbitMQ 服务器返回 ACK 确认信息
            channel.basicAck(deliveryTag, false);
        } catch (Exception e) {

            // 4、获取信息，看当前消息是否曾经被投递过
            Boolean redelivered = message.getMessageProperties().getRedelivered();

            if (!redelivered) {
                // 5、如果没有被投递过，那就重新放回队列，重新投递，再试一次
                // deliveryTag: 消息的唯一标识
                // multiple: 是否批量返回ACK
                // requeue: 是否重新放回队列
                channel.basicNack(deliveryTag, false, true);
            } else {
                // 6、如果已经被投递过，且这一次仍然进入了 catch 块，那么返回拒绝且不再放回队列
                // deliveryTag: 消息的唯一标识
                // requeue: 是否重新放回队列
                channel.basicReject(deliveryTag, false);
            }

        }
    }
}

接收消息方法内部逻辑

  • 业务处理成功：手动返回ACK信息，表示消息成功消费
  • 业务处理失败：手动返回NACK信息，表示消息消费失败。此时有两种后续操作供选择：
    • 把消息重新放回消息队列，RabbitMQ会重新投递这条消息，那么消费端将重新消费这条消息——从而让业务代码再执行一遍
    • 不把消息放回消息队列，返回reject信息表示拒绝，那么这条消息的处理就到此为止

2、相关API

“deliveryTag：交付标签机制”

// 唯一性：每条消息在发送给消费者时会被分配一个独特的交付标签，用于区分不同的消息
// 确认机制：消费者在处理完消息后，会使用交付标签来确认消息的处理结果。
long deliveryTag = message.getMessageProperties().getDeliveryTag();

下面的三个方法都是来自于com.rabbitmq.client.Channel接口

①basicAck()方法

  • 方法功能：给Broker返回ACK确认信息，表示消息已经在消费端成功消费，这样Broker就可以把消息删除了
  • 参数列表：
参数名称 含义
long deliveryTag Broker给每一条进入队列的消息都设定一个唯一标识
boolean multiple 取值为true：为小于、等于deliveryTag的消息批量返回ACK信息
取值为false：仅为指定的deliveryTag返回ACK信息

②basicNack()方法

  • 方法功能：给Broker返回NACK信息，表示消息在消费端消费失败，此时Broker的后续操作取决于参数requeue的值
  • 参数列表：
参数名称 含义
long deliveryTag Broker给每一条进入队列的消息都设定一个唯一标识
boolean multiple 取值为true：为小于、等于deliveryTag的消息批量返回ACK信息
取值为false：仅为指定的deliveryTag返回ACK信息
boolean requeue 取值为true：Broker将消息重新放回队列，接下来会重新投递给消费端
取值为false：Broker将消息标记为已消费，不会放回队列

③basicReject()方法

  • 方法功能：根据指定的deliveryTag，对该消息表示拒绝
  • 参数列表：
参数名称 含义
long deliveryTag Broker给每一条进入队列的消息都设定一个唯一标识
boolean requeue 取值为true：Broker将消息重新放回队列，接下来会重新投递给消费端
取值为false：Broker将消息标记为已消费，不会放回队列

basicNack()和basicReject()有啥区别？

  • basicNack()有批量操作
  • basicReject()没有批量操作
posted @   CH_song  阅读(2)  评论(0)  编辑  收藏  举报
相关博文：
· RabbitMQ工作模式
· Spring AMQP基本API
· 如何保证消息在99.99%的情况下不丢失
· RabbitMQ
· [31] RabbitMQ-高级特性
阅读排行：
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
· 没有Manus邀请码？试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 无需6万激活码！GitHub神秘组织3小时极速复刻Manus，手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
点击右上角即可分享
微信分享提示