RocketMQ—如何解决消息堆积问题
RocketMQ—如何保证消息不丢失
生产者发送到MQ的消息,会放到broker的硬盘内,这便是消息的持久化。消息会有两种持久化策略:
- 同步刷盘:消息过来就会进入磁盘,再向生产者发送写成功,这会很安全,但是性能相对会比较差(只是相对而言,但是也是很快的);但是磁盘坏了,就会消息丢失,对于这种情况,可以进行集群部署。
- 异步刷盘:消息过来会先在一个缓冲区buffer中写,统一落盘;如果计算机断电,就会丢失;我们可以自己进行持久化,可以放到日志中,可以存入数据库中。
- 生产者发送消息时,把发送的记录存入数据库中,设置消费状态为0(未消费);
- 消费者处理完业务逻辑后,更新状态为1(已经消费)
- 有定时任务,去查询数据库中当天哪些消息状态为0,进行补发,结合幂等性,再避免重复消息。
可以开启mq的trace机制,消息跟踪机制,这样就可以追踪消息的情况:
-
在broker.conf中开启消息追踪
traceTopicEnable=true
-
重启broker即可
-
生产者配置文件开启消息轨迹
enable-msg-trace: true
-
消费者开启消息轨迹功能,可以给单独的某一个消费者开启
enableMsgTrace = true
注意不要kill -9
,因为可能有任务在工作,kill就可以。
重启broker。
修改生产者配置文件:
使用messageId可以查询消息轨迹:
消费者方:
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 单线程的Redis速度为什么快?
· 展开说说关于C#中ORM框架的用法!
· Pantheons:用 TypeScript 打造主流大模型对话的一站式集成库
· SQL Server 2025 AI相关能力初探
· 为什么 退出登录 或 修改密码 无法使 token 失效