RabbitMQ 集群搭建
环境
10.0.0.20 node1 10.0.0.21 node2 10.0.0.22 node3
搭建(在所有节点执行)
添加EPEL源
[root@node1 ~]# rpm -Uvh https://dl.Fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
添加Erlang
[root@node1 ~]# rpm -Uvh http://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm
安装RabbitMQ
[root@node1 ~]# wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.6/rabbitmq-server-3.6.6-1.el7.noarch.rpm [root@node1 ~]# rpm --import https://www.rabbitmq.com/rabbitmq-signing-key-public.asc [root@node1 ~]# yum install -y rabbitmq-server-3.6.6-1.el7.noarch.rpm
启动服务
[root@node1 ~]# systemctl enable rabbitmq-server.service
[root@node1 ~]# systemctl start rabbitmq-server.service
查看端口监听状态 5672为集群间通信端口,15672为web端管理端口
[root@node1 ~]# netstat -atn |grep 5672
启用RabbitMQ监控插件
[root@node1 ~]# rabbitmq-plugins enable rabbitmq_management
RabbitMQ用户管理
添加用户为:root ,密码为:admin)
[root@node1 ~]# rabbitmqctl add_user admin admin
设置用户角色(设置admin用户为管理员角色)
[root@node1 ~]# rabbitmqctl set_user_tags admin administrator
设置用户权限(设置admin用户配置、写、读的权限)
[root@node1 ~]# rabbitmqctl set_permissions -p / admin ".*" ".*" ".*"
删除用户(删除guest用户)
[root@node1 ~]# rabbitmqctl delete_user guest
RabbitMQ集群配置
设置hosts解析,所有节点配置相同
[root@node1 ~]# vim /etc/hosts 10.0.0.20 node1 10.0.0.21 node2 10.0.0.22 node3
设置节点间的认证 (Erlang Cookie)
将node3 的cookie发送到 node1和node2 上
[root@node1 ~]# chmod 777 /var/lib/rabbitmq/.erlang.cookie [root@node2 ~]# chmod 777 /var/lib/rabbitmq/.erlang.cookie [root@node3 ~]# scp /var/lib/rabbitmq/.erlang.cookie 10.0.0.20:/var/lib/rabbitmq/.erlang.cookie [root@node3 ~]# scp /var/lib/rabbitmq/.erlang.cookie 10.0.0.21:/var/lib/rabbitmq/.erlang.cookie [root@node1 ~]# chmod 400 /var/lib/rabbitmq/.erlang.cookie [root@node2 ~]# chmod 400 /var/lib/rabbitmq/.erlang.cookie
分别启动独立的单机版rabbitmq broker节点
[root@node1 ~]# systemctl start rabbitmq-server.service [root@node1 ~]# rabbitmq-server -detached [root@node2 ~]# systemctl start rabbitmq-server.service [root@node2 ~]# rabbitmq-server -detached [root@node3 ~]# systemctl start rabbitmq-server.service [root@node3 ~]# rabbitmq-server -detached
查看broker的状态
[root@node1 ~]# rabbitmqctl status Status of node rabbit@node1 ... [{pid,14503}, {running_applications, [{rabbitmq_management,"RabbitMQ Management Console","3.6.6"}, {rabbitmq_web_dispatch,"RabbitMQ Web Dispatcher","3.6.6"},
查看broker的集群状态
root@node1 ~]# rabbitmqctl cluster_status Cluster status of node rabbit@node1 ... [{nodes,[{disc,[rabbit@node1]}]}, {running_nodes,[rabbit@node1]}, {cluster_name,<<"rabbit@node2">>}, {partitions,[]}]
配置防火墙(如果开启)
[root@node1 ~]# firewall-cmd --permanent --add-port={4369/tcp,25672/tcp}
[root@node1 ~]# firewall-cmd --reload
配置集群
默认是磁盘节点,如果是内存节点的话,需要加--ram参数
将node1节点加入node3作为RAM类型节点
[root@node1 ~]#rabbitmqctl stop_app [root@node1 ~]#rabbitmqctl reset [root@node1 ~]#rabbitmqctl join_cluster root@node3 --ram [root@node1 ~]#rabbitmqctl start_app
[root@node1 ~]# rabbitmqctl cluster_status
将node2节点加入node3 作为RAM类型节点
[root@node2 ~]#rabbitmq stop_app [root@node2 ~]#rabbitmqctl reset [root@node2 ~]#rabbitmqctl join_cluster root@node3 --rm [root@node2 ~]#rabbitmqctl start_app [root@node2 ~]# rabbitmqctl cluster_status (rabbitmq集群节点有disc 和ram两种类型,一个集群中至少要有一个disc类型的节点,不指定默认加入为disc)
修改集群的名字
[root@node1 ~]# rabbitmqctl set_cluster_name rabbitMQ Setting cluster name to rabbitMQ ... [root@node1 ~]# rabbitmqctl cluster_status Cluster status of node rabbit@node1 ... [{nodes,[{disc,[rabbit@node1,rabbit@node3]},{ram,[rabbit@node2]}]}, {running_nodes,[rabbit@node2,rabbit@node3,rabbit@node1]}, {cluster_name,<<"rabbitMQ">>}, {partitions,[]}, {alarms,[{rabbit@node2,[]},{rabbit@node3,[]},{rabbit@node1,[]}]}]
重要信息
(1)、当整个集群down掉时,最后一个down机的节点必须第一个启动到在线状态,如果不是这样,节点会等待30s等最后的磁盘节点恢复状态,然后失败。如果最后下线的节点不能上线,可以通过forget_cluster_node 指令来踢出集群
(2)、如果所有的节点不受控制的同时宕机,比如掉电,会进入所有的节点都会认为其他节点比自己宕机的要晚,即自己先宕机,这种情况下可以使用force_boot指令来启动一个节点
打破集群
当一个节点不属于这个集群的时候,我们需要显式的踢出,可以通过本地或者远程的方式
[root@node1 ~]# rabbitmqctl stop_app [root@node1 ~]# rabbitmqctl reset [root@node1 ~]# rabbitmqctl start_app [root@node1 ~]# rabbitmqctl cluster_status
设置镜像队列策略
设置policy,以ha.开头的队列将会被镜像到集群其他所有节点,一个节点挂掉然后重启后会自动同步队列消息(我们生产环境采用这个方式)
[root@node1 ~]# rabbitmqctl set_policy ha-all-queue "^" '{"ha-mode":"all","ha-sync-mode":"automatic"}'
查看状态
查看应用状态
[root@node3 ~]# rabbitmqctl status
查看集群信息
[root@node3 ~]# rabbitmqctl cluster_status
访问任意管理端界面查看
http://ip:15672
HAproxy+Keepalived 高可用
消息队列作为公司的关键基础服务,为给客户端提供稳定、透明的rabbitmq服务,现通过Haproxy+keepalived构建高可用的rabbitmq统一入口,及基本的负载均衡服务
安装
[root@node4 ~]# yum install haproxy keepalived -y
设置开机启动