RabbitMQ消息队列阻塞导致服务器宕机

最近工作中存储服务器由于压力太大无法及时消费消息、这个过程中，导致RabbitMQ意外挂掉，无法访问。下面是部分问题分析过程。

麒麟系统服务器分析

1、服务器异常信息：

?

[root@localhost ~]# service rabbitmq-server status

Status of node rabbit@localhost ...

Error: unable to connect to node rabbit@localhost: nodedown

 

DIAGNOSTICS

===========

 

attempted to contact: [rabbit@localhost]

 

rabbit@localhost:

* connected to epmd (port 4369) on localhost

* epmd reports: node 'rabbit' not running at all

no other nodes on localhost

* suggestion: start the node

 

current node details:

- node name: 'rabbitmq-cli-90@localhost'

- home dir: /var/lib/rabbitmq

- cookie hash: HIkCAX9bQ+wszeJ6VEmyxw==

 2、查看服务器转态:df -h   根目录空间用完了。

?

[root@localhost /]# df -h

文件系统                容量  已用  可用 已用% 挂载点

/dev/mapper/kylin-root   50G   50G   20K  100% /

devtmpfs                1.9G     0  1.9G    0% /dev

tmpfs                   1.9G   84K  1.9G    1% /dev/shm

tmpfs                   1.9G   97M  1.8G    6% /run

tmpfs                   1.9G     0  1.9G    0% /sys/fs/cgroup

/dev/sda1              1014M  174M  841M   18% /boot

/dev/mapper/kylin-home   46G  2.4G   43G    6% /home

tmpfs                   380M   16K  380M    1% /run/user/42

 3.继续排查，通过：du -h -x --max-depth=1 一步步发现queue太大问题：系统总共50G、资源已被消耗完。

?

[root@localhost rabbit@localhost]# du -h -x --max-depth=1

0   ./msg_store_persistent

46G ./queues

12K ./msg_store_transient

 由于没有及时消费rabbitmq消息，导致消息队列越来越大，最终撑爆服务器资源。最后找到./queues下面的大文件删除即可（生产环境请备份进行后续处理！！！）。

 基于此问题，最终通过Redis、多线程优化了存储服务器，减少数据库频繁查询开销，提升存储服务器消费能力。