RabbitMQ (十五) 镜像集群 + HAProxy1.7.8 负载均衡
RabbitMQ 默认的集群模式,也就是普通模式,最大的问题就在于存储队列完整数据的节点一旦宕机,
如果是非持久化队列,则消息丢失;如果是持久化队列+持久化消息,则必须等该节点恢复.
所以后来 RabbitMQ 开始支持队列(完整数据)复制.比如在有5个节点的集群里,可以指定某个队列的完整数据在2个节点上进行存储,从而在性能与高可用之间取得一个平衡,这就是镜像模式,它属于 RabbitMQ 的HA方案.
镜像模式解决了普通模式的问题,消息实体会主动在镜像节点间同步,而不是在消费者获取数据的时候临时从其他节点拉取.当然,该模式的副作用也很明显:
- 消息需要复制到每一个节点,对于持久化消息,网络和磁盘同步复制的开销都会明显增加;
- 如果镜像队列数量过多,大量的消息进入,集群内部的网络带宽将会被这种同步通讯大大消耗掉.
所以镜像模式适合在对可靠性要求较高的场合中使用.
综上所述,镜像模式的实质是镜像队列,一个队列想做成镜像队列,需要先设置 policy,然后客户端创建队列的时候,RabbitMQ 集群根据“队列名称”自动设置是普通集群模式或镜像模式.
下面我们通过管理后台将前面搭建的单机集群模式修改成镜像模式.
搭建步骤
第一步
第二步
- Virtual host : 虚拟主机.
- Name : 策略名称.
- Pattern : ^ 表示匹配所有队列名称.
- Apply to : 这里选择的是同时应用到交换机和队列.
- ha-mode 和 ha-params 见下表(原贴:http://www.ywnds.com/?p=4741)
然后我们可以看到,该虚拟主机下面的交换机和队列都被打上了 test_mirror 标签
+1 表示有1个镜像节点.
进入该队列详情,可以清晰的看到 : 策略名称,队列的主节点以及镜像节点等.
验证功能
将就上一篇普通集群的代码.
1.生产者连接到 node1 (5672) 发送消息,然后关闭 node1.
通过 node2 的管理后台可以看到队列依然在.
但是有个细节,Node 从 rabbit1@node1 变成了 rabbit2@node2.
进入该队列详情,主节点已经变成了 rabbit2@node2 , 而镜像节点是空.
2.消费者连接到 node2 接收消息
一切正常.
3.重新启动 node1
可以看到,队列的主节点没有还原回去.
关于 HA sync mode,HA mirror promotion on shutdown,HA mirror promotion on failure 的测试
一.HA sync mode
该参数有两个值:
- manual : 手动模式(默认值)
- automatic : 自动模式
手动模式下,新加入的节点不会同步老节点的队列(及消息).测试如下:
1.我们先往"test_queue"队列添加10条消息.
2.新增节点 node3
3.这时候我们再看管理后台,多了1个红色的"+1",这个"+1"表示有一个节点没有同步该队列的数据.
我们进入该队列查看详情:
可以看到,有个"同步"的按钮.我们可以手动同步.
如果我们把10条消息消费掉后,系统也会认为数据同步了,因为3个节点的数据一样了.这时候红色的"+1"就会消失,而之前的蓝色"+1"变成了"+2".
自动模式的测试结果就不上图了.
二.HA mirror promotion on failure
该参数有两个值 :
when-syncedalways (默认值)
默认值为 "always" ,如果队列主节点发生故障,断开连接或者从群集中删除了,则最早的镜像节点将被提升为新的主节点.但是在某些情况下,此镜像节点可能没有同步数据,这将导致数据丢失.
"when-synced" ,意味着当队列主节点发生故障的时候,队列将变得不可用,直到主节点恢复.如果队列主节点永久丢失,除非将队列删除(同时会删除其所有内容)并重新声明,否则该队列将永不可用;
这相当于通过降低安全性(将非同步镜像节点升级为主节点),从而增加对队列主机可用性的依赖,因为有时候队列可用性比数据一致性更重要.
三.HA mirror promotion on shutdown
该参数也有两个值 :
when-synced(默认值)always
该参数的默认值为 "when-synced", 如果队列主节点关闭了(即显式停止RabbitMQ服务或关闭操作系统),那么所有节点上的该队列都将关闭.
"always" 意味着如果队列主节点关闭了,可以提升一个未同步的节点为新的主节点,以避免数据丢失.
但是,如果 HA mirror promotion on failure 的值为 "when-synced" ,即使 HA mirror promotion on shutdown 的值为 "always" ,也不会提升未同步的节点.这意味着如果队列主节点发生故障,队列将在主节点恢复之前变为不可用.如果队列主机永久丢失,除非将队列删除（也将删除其所有内容）并重新声明,否则该队列将不可用.
测试
1.删除之前创建的 node2,node3,只保留 node1;
2.删除原来的策略,重新建了一个,并且 HA sync mode ,HA mirror promotion on failure 和 HA mirror promotion on shutdown 3个参数都未设定,即都使用默认值;
3.发送10条消息;
4.新建 node2,并加入集群.
目前该队列情况如下:node1 是队列主节点,并且 node2 尚未同步数据.
5.停止 node1, 即停止队列主节点 ( rabbitmqctl stop_app )
这时候,该队列变成了不可用,连接 node2 发送消息,接收消息都会失败.
这个结果符合 HA sync mode ,HA mirror promotion on failure 和 HA mirror promotion on shutdown 3个参数默认值的预期.
6.恢复 node1 ( rabbitmqctl start_app ),进入该队列详情,点击
按钮,手动同步一下队列数据,这时候,两个节点的状态是:node1 为队列主节点,node2 已同步数据
7.再次关闭 node1.
从管理后台可以看见,该队列依然可用,并且 node2 被提升成了队列主节点.同样符合 HA mirror promotion on failure 和 HA mirror promotion on shutdown 默认值的预期.
至于将 HA mirror promotion on shutdown 设为 "always ", HA mirror promotion on failure 设为 "when-synced" 的情况就不再测试了.
内存及硬盘控制(转载)
一.内存控制
vm_memory_high_watermark 该值为内存阈值,默认为0.4.意思为物理内存的40%.40%的内存并不是内存的最大的限制,它是一个发布的节制,当达到40%时Erlang会做GC.最坏的情况是使用内存80%.如果把该值配置为0.将关闭所有的publishing.
Paging 内存阈值,该值为默认为0.5,该值为 vm_memory_high_watermark 的20%时,将把内存数据写到磁盘.
如机器内存16G,当 RabbitMQ占用内存1.28G（16*0.4*0.2）时会把内存数据放到磁盘.
二.硬盘控制
当RabbitMQ的磁盘空闲空间小于50M（默认）,生产者将被BLOCK.如果采用集群模式,磁盘节点空闲空间小于50M将导致其他节点的生产者都被block,可以通过 disk_free_limit 来对进行配置.
原贴:http://www.ywnds.com/?p=4741
HAProxy1.7.8 负载均衡
在某网站下载了一个 window 可以用的版本 haproxy-1.7.8
修改 haproxy.cfg 配置文件
global maxconn 15000 nbproc 1 daemon defaults mode tcp retries 3 option abortonclose maxconn 2000 timeout connect 300000ms timeout client 300000ms timeout server 300000ms log 192.168.1.5 local0 err listen RabbitMQ bind 192.168.1.5:8848 mode http balance roundrobin server node1 192.168.1.5:5672 weight 1 maxconn 2000 check inter 5s rise 1 fall 3 server node2 192.168.1.5:5673 weight 1 maxconn 2000 check inter 5s rise 1 fall 3 listen status bind 192.168.1.5:1188 mode http stats refresh 30s stats uri / stats auth admin:admin #stats hide-version stats admin if TRUE
