惰性队列

消息堆积问题
当生产者发送消息的速度超过了消费者处理消息的速度,就会导致队列中的消息堆积,直到队列存储消息达到上限。之后发送的消息就会成为死信,可能会被丢弃,这就是消息堆积问题。

解决消息堆积有三种思路:

  • 增加更多消费者,提高消费速度。也就是我们之前说的work queue模式
    如果在一个队列里面绑定了多个消费者,那么多个消费者间其实是一种竞争关系,它们回去抢队列中的消息,这个时候处理消息的速度就变快了。
  • 在消费者内开启线程池加快消息处理速度
    一个任务过来交给线程处理,再一个进来又交给线程处理,这样在当前的这个消费者内部我的处理速度也就加快了,当然这种方式其实是有些限制的,开启一个线程池来加快消息的处理
    那如果消息很多,是不是就要开启很多的线程,而开启的线程越多其实对cpu来讲是一种浪费,因为cpu需要在多个线程之间做上下文的切换,因此这种方案比较适合这个消息处理的业务
    耗时比较长的情况,这样就可以开多个线程,让cpu并行的处理多个业务。
  • 扩大队列容积,提高堆积上限

要提升队列容积,把消息保存在内存中显然是不行的。

惰性队列
从RabbitMQ的3.6.0版本开始,就增加了Lazy Queues的概念,也就是惰性队列。惰性队列的特征如下:

  • 接收到消息后直接存入磁盘而非内存
  • 消费者要消费消息时才会从磁盘中读取并加载到内存
  • 支持数百万条的消息存储

基于命令行设置lazy-queue
而要设置一个队列为惰性队列,只需要在声明队列时,指定x-queue-mode属性为lazy即可。可以通过命令行将一个运行中的队列修改为惰性队列:
rabbitmqctl set_policy Lazy "^lazy-queue$" '{"queue-mode":"lazy"}' --apply-to queues
命令解读:

  • rabbitmqctl :RabbitMQ的命令行工具
  • set_policy :添加一个策略
  • Lazy :策略名称,可以自定义
  • "^lazy-queue$" :用正则表达式匹配队列的名字
  • '{"queue-mode":"lazy"}' :设置队列模式为lazy模式
  • --apply-to queues :策略的作用对象,是所有的队列

基于@Bean声明lazy-queue

基于@RabbitListener声明LazyQueue

总结
消息堆积问题的解决方案?

  • 队列上绑定多个消费者,提高消费速度
  • 使用惰性队列,可以再mq中保存更多消息

惰性队列的优点有哪些?

  • 基于磁盘存储,消息上限高
  • 没有间歇性的page-out,性能比较稳定

惰性队列的缺点有哪些?

  • 基于磁盘存储,消息时效性会降低
  • 性能受限于磁盘的IO
posted @ 2023-06-28 23:18  xycccode  阅读(15)  评论(0编辑  收藏  举报