RabbitMQ处理消息堆积问题---惰性队列
当生产者发送消息的速度超过了消费者处理消息的速度,就会导致队列中的消息堆积,直到队列存储消息达到上限。之后发送的消息就会成为死信,可能会被丢弃,这就是消息堆积问题。
解决消息堆积的两种思路
- 增加更多消费者,提高消费速度。也就是我们之前说的work queue模式
- 扩大队列容积,提高堆积上限(该方法会占用大量内存,不合适)
使用惰性队列的方式解决
惰性队列的特征
- 接收到消息后直接存入磁盘而非内存
- 消费者要消费消息时才会从磁盘中读取并加载到内存
- 支持数百万条的消息存储
两种声明惰性队列的方式
- 基于@Bean的方式声明lazy-queue
点击查看代码
@Configuration
public class LazyConfig {
@Bean
public Queue lazyQueue(){
return QueueBuilder.durable("lazy.queue1")
.lazy() //开启x-queue-mode为lazy
.build();
}
}
点击查看代码
@Slf4j
@Component
public class LazyListerner {
@RabbitListener(queuesToDeclare = @Queue(
name = "lazy.queue2",
durable = "true",
arguments = @Argument(name = "x-queue-mode",value = "lazy")
))
public void lazyListerer(String msg){
log.info("接收到lazy.queue2的消息{}",msg);
}
}
总结
消息堆积问题的解决方案?
- 队列上绑定多个消费者,提高消费速度
- 使用惰性队列,可以再mq中保存更多消息
惰性队列的优点有哪些? - 基于磁盘存储,消息上限高
- 没有间歇性的page-out,性能比较稳定
惰性队列的缺点有哪些? - 基于磁盘存储,消息时效性会降低
- 性能受限于磁盘的IO
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 【杭电多校比赛记录】2025“钉耙编程”中国大学生算法设计春季联赛(1)