RocketMQ—如何解决消息堆积问题

RocketMQ—如何保证消息不丢失

生产者发送到MQ的消息,会放到broker的硬盘内,这便是消息的持久化。消息会有两种持久化策略:

  1. 同步刷盘:消息过来就会进入磁盘,再向生产者发送写成功,这会很安全,但是性能相对会比较差(只是相对而言,但是也是很快的);但是磁盘坏了,就会消息丢失,对于这种情况,可以进行集群部署。
  2. 异步刷盘:消息过来会先在一个缓冲区buffer中写,统一落盘;如果计算机断电,就会丢失;我们可以自己进行持久化,可以放到日志中,可以存入数据库中。
    1. 生产者发送消息时,把发送的记录存入数据库中,设置消费状态为0(未消费);
    2. 消费者处理完业务逻辑后,更新状态为1(已经消费)
    3. 有定时任务,去查询数据库中当天哪些消息状态为0,进行补发,结合幂等性,再避免重复消息。

可以开启mq的trace机制,消息跟踪机制,这样就可以追踪消息的情况:

  1. 在broker.conf中开启消息追踪

    traceTopicEnable=true
    
  2. 重启broker即可

  3. 生产者配置文件开启消息轨迹

    enable-msg-trace: true
    
  4. 消费者开启消息轨迹功能,可以给单独的某一个消费者开启

    enableMsgTrace = true
    

杀死broker进程

注意不要kill -9,因为可能有任务在工作,kill就可以。

broker配置文件

重启broker。

修改生产者配置文件:

生产者配置文件

使用messageId可以查询消息轨迹:

查询轨迹

消费者方:

消费者方配置

posted on   随机的未知  阅读(159)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· 单线程的Redis速度为什么快?
· 展开说说关于C#中ORM框架的用法!
· Pantheons:用 TypeScript 打造主流大模型对话的一站式集成库
· SQL Server 2025 AI相关能力初探
· 为什么 退出登录 或 修改密码 无法使 token 失效

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示