RocketMQ笔记(十)：事务消息

　　事务消息官网：RocketMQ官网 - 事务消息。

一、什么是事务消息

　　事务消息是 RocketMQ 提供的一种消息类型，支持在分布式场景下保障消息生产和本地事务的最终一致性。

二、事务消息的原理

2.1、事务消息的生命周期

2.1.1、初始化

　　半事务消息被生产者构建并完成初始化，待发送到服务端的状态。

2.1.2、事务待提交

　　半事务消息被发送到服务端，和普通消息不同，并不会直接被服务端持久化，而是会被单独存储到事务存储系统中，等待第二阶段本地事务返回执行结果后再提交。此时消息对下游消费者不可见。

2.1.3、消息回滚

　　第二阶段如果事务执行结果明确为回滚，服务端会将半事务消息回滚，该事务消息流程终止。

2.1.4、提交待消费

　　第二阶段如果事务执行结果明确为提交，服务端会将半事务消息重新存储到普通存储系统中，此时消息对下游消费者可见，等待被消费者获取并消费。

2.1.5、消费中

　　消息被消费者获取，并按照消费者本地的业务逻辑进行处理的过程。 此时服务端会等待消费者完成消费并提交消费结果，如果一定时间后没有收到消费者的响应，RocketMQ会对消息进行重试处理。

2.1.6、消费提交

　　消费者完成消费处理，并向服务端提交消费结果，服务端标记当前消息已经被处理（包括消费成功和失败）。

　　RocketMQ默认支持保留所有消息，此时消息数据并不会立即被删除，只是逻辑标记已消费。消息在保存时间到期或存储空间不足被删除前，消费者仍然可以回溯消息重新消费。

2.1.7、消息删除

　　RocketMQ按照消息保存机制滚动清理最早的消息数据，将消息从物理文件中删除。

2.2、事务消息的处理流程

　　事务消息的处理涉及二阶段，一阶段prepare包含步骤1、步骤2，二阶段commit包含步骤3、步骤4。

　　检查本地事务操作是对获取本地事务最终状态的补充。

摘自RocketMQ官网的流程图：

  

1、生产者投递消息

　　生产者发送half消息至RocketMQ的服务端。

2、RocketMQ持久化消息并通知生产者

　　RocketMQ服务端将消息持久化后，向生产者返回ACK确认消息表示消息已经发送成功，此时消息会持久化在RocketMQ的RMQ_SYS_TRANS_HALF_TOPIC中，消费者暂不能消费，这种状态下的消息称为 半事务消息。

3、生产者段执行本地事务

　　生产者段执行本地的业务逻辑处理。

4、半事务消息的处理

　　根据本地事务执行结果完成第二阶段的提交。

4.1、本地事务执行成功，确认结果为Commit

　　RocketMQ服务端将办消息事务标记为可消费，将RMQ_SYS_TRANS_HALF_TOPIC中的半事务消息存储到消费者订阅的Topic中，并投递给消费者。

4.2、本地事务执行失败，确认结果为Rollback

　　RocketMQ回滚事务，将RMQ_SYS_TRANS_HALF_TOPIC中的半事务消息删除，不会投递给消费者消费。

5、RocketMQ服务端消息回查

　　若服务端未收到生产者提交的二次确认结果或者收到的确认结果为未知状态(Unknow),服务端会定期对消息生产者发起回查。

6、生产者接收回查，检查本地事务

　　生产者接收到消息回查，检查本地事务执行的最终结果。

7、提交回查事务状态

　　生产者根据检查到的本地事务的最终状态完成第二阶段的提交，执行结果同步骤4半事务消息的处理。

四、事务消息的demo

1、事务消息常量

　　常量类中定义事务消息的生产者组、NAMESRV地址、事务消息Topic、事务消息标签内容

package com.snails.rmq.common;

// RMQ常量类
public class RMQConstant {

    // 生产者组
    public static final String TRX_GROUP = "trx-group";

    // NameSrv地址，修改成自己的rocket服务
    public static final String NAEMSRV_ADDR = "192.168.33.55:9876";

    // 测试Topic
    public static final String TRX_TOPIC = "TrxTopic";

    // 消息标签
    public static final String MSG_TAG_A = "TagA";
    public static final String MSG_TAG_B = "TagB";
    public static final String MSG_TAG_C = "TagC";
    public static final String MSG_TAG_D = "TagD";
    public static final String MSG_TAG_E = "TagE";

}

2、本地事务执行器、回查器实现

　　本地事务执行逻辑及本地事务回查逻辑：用于获取本地事务执行结果并完成两阶段提交；若本地事务结果状态未知，RocketMQ服务端回查获取最终的本地事务结果。

package com.snails.rmq.msgtype.trx.sdk;

import com.snails.rmq.common.RMQConstant;
import org.apache.commons.lang3.StringUtils;
import org.apache.rocketmq.client.producer.LocalTransactionState;
import org.apache.rocketmq.client.producer.TransactionListener;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.common.message.MessageExt;

/**
 * 事务消息共有三种状态，提交状态、回滚状态、中间状态：
 *
 * TransactionStatus.CommitTransaction: 提交事务，它允许消费者消费此消息。
 * TransactionStatus.RollbackTransaction: 回滚事务，它代表该消息将被删除，不允许被消费。
 * TransactionStatus.Unknown: 中间状态，它代表需要检查消息队列来确定状态。
 *
 * @Description: 生产者端，本地事务执行器、回查器
 */
public class TrxListenerImpl implements TransactionListener {

    /**
     * 执行本地事务
     * @param message
     * @param o
     * @return
     */
    @Override
    public LocalTransactionState executeLocalTransaction(Message message, Object o) {
        System.out.printf("executeLocalTransaction -> 开始执行本地事务");

        String tags = message.getTags();
        String keys = message.getKeys();
        String currentThread = Thread.currentThread().getName();
        // TAGA标签消息  提交，允许消费者消费此消息
        if (RMQConstant.MSG_TAG_A.equals(tags)) {
            System.out.printf("%s tags = %s，keys = %s，提交本地事务 %n", currentThread, tags, keys);
            return LocalTransactionState.COMMIT_MESSAGE;

        // TAGB标签消息  回滚，消息删除，不允许被消费
        }else if(RMQConstant.MSG_TAG_B.equals(tags)) {
            System.out.printf("%s tags = %s，keys = %s，回滚本地事务 %n", currentThread, tags, keys);
            return LocalTransactionState.ROLLBACK_MESSAGE;

        // TAGC、TAGD、TAGE 标签消息
        }else {
            // 等待MQ服务端定时发起消息状态回查，超过一定重试次数或者超时，消息会被丢弃
            System.out.printf("%s tags = %s，keys = %s，回查本地事务 %n", currentThread, tags, keys);
            return LocalTransactionState.UNKNOW;
        }
    }

    /**
     * 检查本地事务状态，并回应消息队列的检查请求
     *
     * @param messageExt
     * @return
     */
    @Override
    public LocalTransactionState checkLocalTransaction(MessageExt messageExt) {
        System.out.println("checkLocalTransaction -> 开始回查本地事务");

        // 消息tag
        String tags = messageExt.getTags();
        // 消息key
        String keys = messageExt.getKeys();
        String currentThread = Thread.currentThread().getName();
        // TagC commit操作
        if (StringUtils.equals(tags, "TagC")) {
            System.out.printf("checkLocalTransaction ->%s tags = %s，keys = %s，提交本地事务 %n", currentThread, tags, keys);
            return LocalTransactionState.COMMIT_MESSAGE;
        // TagD rollback操作
        } else if (StringUtils.equals(tags, "TagD")) {
            System.out.printf("checkLocalTransaction -> tags = %s，keys = %s,回滚 %n", currentThread, tags, keys);
            return LocalTransactionState.ROLLBACK_MESSAGE;
        // TagE 回查操作
        } else {
            System.out.printf("checkLocalTransaction -> tags = %s，keys = %s,回查 %n", currentThread, tags, keys);
            return LocalTransactionState.UNKNOW;
        }
    }

}

3、事务消息生产者

　　事务消息生产者，用于半事务消息的投递及本地事务执行器、回查器的监听。

import com.snails.rmq.common.RMQConstant;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.client.producer.TransactionMQProducer;
import org.apache.rocketmq.common.message.Message;
import java.nio.charset.StandardCharsets;
import java.util.concurrent.*;

/**
 *
 * 使用 TransactionMQProducer类创建生产者，并指定唯一的 ProducerGroup
 * 执行本地事务后、根据执行结果对消息队列进行回复
 *
 * @Description: 事务消息生产者
 */
public class TrxProducer {

    public static void main(String[] args) throws Exception {
        // 创建
        TrxListenerImpl trxListener = new TrxListenerImpl();
        // 创建事务消息生产者prodcer，并指定生产者组
        TransactionMQProducer producer = new TransactionMQProducer(RMQConstant.TRX_GROUP);
        producer.setNamesrvAddr(RMQConstant.NAEMSRV_ADDR);
        // 创建线程池对事务消息做检查
        ExecutorService executorService = new ThreadPoolExecutor(2, 5, 100, TimeUnit.SECONDS, new ArrayBlockingQueue<Runnable>(2000), new ThreadFactory() {
            @Override
            public Thread newThread(Runnable r) {
                Thread thread = new Thread(r);
                thread.setName("client-transaction-msg-check-thread");
                return thread;
            }
        });
        // 设置线程池
        producer.setExecutorService(executorService);
        // 设置事务状态监听器
        producer.setTransactionListener(trxListener);
        // 启动生产者实例
        producer.start();

        // 发送消息，指定消息标签
        String[] tags = new String[] {RMQConstant.MSG_TAG_A, RMQConstant.MSG_TAG_B, RMQConstant.MSG_TAG_C, RMQConstant.MSG_TAG_D, RMQConstant.MSG_TAG_E};
        for (int i = 0; i < 15; i++) {
            Message msg = new Message(RMQConstant.TRX_TOPIC, tags[i % tags.length], "KEY" + i,
                    ("我是事务消息 " + i).getBytes(StandardCharsets.UTF_8));
            SendResult sendResult = producer.sendMessageInTransaction(msg, null);
            System.out.printf("%s%n", sendResult);
            Thread.sleep(10);
        }
        for (int i = 0; i < 100000; i++) {
            Thread.sleep(1000);
        }
        // 关闭事务生产者实例
        producer.shutdown();
    }
}

4、事务消息消费者

　　事务消息消费者，只消费在生产者端本地事务执行成功，第二阶段的确认结果为Commit的消息。

import com.snails.rmq.common.RMQConstant;
import com.snails.rmq.utils.ClientUtils;
import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import org.apache.rocketmq.common.message.MessageExt;
import java.nio.charset.StandardCharsets;
import java.util.List;

/**
 * @Description: 事务消息消费者
 */
public class TrxConsumer {

    public static void main(String[] args) {
        // 创建消费者实例 consumer 并订阅topic、执行消息标签
        String subExpression =  RMQConstant.MSG_TAG_A.concat(" || ").concat(RMQConstant.MSG_TAG_B).concat(" || ").concat(RMQConstant.MSG_TAG_C)
                .concat(" || ").concat(RMQConstant.MSG_TAG_D).concat(" || ").concat(RMQConstant.MSG_TAG_E);
        DefaultMQPushConsumer consumer = ClientUtils.gainConsumerInstance(RMQConstant.TRX_GROUP,
                RMQConstant.NAEMSRV_ADDR, RMQConstant.TRX_TOPIC, subExpression);
        // 消费事务消息
        consumer.registerMessageListener(new MessageListenerConcurrently() {
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> list, ConsumeConcurrentlyContext consumeConcurrentlyContext) {
                for (MessageExt messageExt : list) {
                    System.out.println("接收消息：msgId = " + messageExt.getMsgId()
                            + "，详情：" + new String(messageExt.getBody(), StandardCharsets.UTF_8));
                }
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });
        // 启动消费者
        ClientUtils.startupConsumer(consumer);
    }
}

五、总结

　　RocketMQ的事务消息，保证了本地事务与事务消息发送的一致性，本地事务执行成功，事务消息方可投递到消费者端处理。

可采用 定时任务 + MQ 实现：

　　在本地事务执行成功之后，插入消息表中，异步任务定时扫描消息表，发送消息到RocketMQ。

其他分布式事务：

　　分布式事务、分布式事务解决方案Seata。