ActiveMQ集群(2)

 

  ActiveMQ具有强大和灵活的集群功能,但在使用的过程中会发现很多的缺点,ActiveMQ的集群方式主要有两种:Master-SlaveBroker Cluster

1Master-Slave方式:

  Master-Slave方式中,只能是Master提供服务,Slave是实时地备份Master的数据,以保证消息的可靠性。当Master失效时,Slave会自动升级为Master,客户端会自动连接到Slave上工作。

  Master-Slave模式分为三类:

    a、Pure Master Slave

    b、Shared File System Master Slave

    c、 JDBC Master Slave 

 

  (1) Pure Master Slave(该方式已经被淘汰:)

    需要两台Broker,一台作为Master,另一台作为Slave,运行时,Slave通过网络实时从Master处复制数据,同时,如果SlaveMaster失去连接,Slave就会自动升级为Master,继续为客户端提供消息服务,如图所示:

      

     实践时,我们使用两台ActiveMQ服务器,一台作为MasterMaster不需要做特殊的配置;另一台作为Slave,配置${ACTIVEMQ_HOME}/conf/activemq.xml文件,在<broker>节点中添加连接到MasterURI和设置Master失效后不关闭Slave代码如下:  

      <broker xmlns="http://activemq.apache.org/schema/core" 

         brokerName="pure_slave" 

         masterConnectorURI="tcp://0.0.0.0:61616

         shutdownOnMasterFailure="false"   dataDirectory="${activemq.base}">  

 

          <!-- 同时修改Slave的服务端口,如下:--> 

        <transportConnectors>  

                   <transportConnector name="openwire" uri="tcp://0.0.0.0:61617"/>  

        </transportConnectors>   

      </broker>

    为了看到实践的效果,MasterSlave的消息持久化介质都是采用MySQL,并且MasterSlave分别连接不同的数据库。    

    在消息生产者应用和消息消费者应用的Spring配置文件中添加以下红色内容:

      <property name="brokerURL" value="failover:(tcp://localhost:61616,tcp://localhost:61617)?initialReconnectDelay=100" />

    这种方式只能两台机器做集群,可以起到很好的双机热备功能,但只能失效一次,只能停机恢复Master-Slave结构。

 

  (2) Shared File System Master Slave

    介绍:  这种方式是利用共享文件系统做ActiveMQ集群。kahaDB是ActiveMQ下默认的文件系统。

        当一个AMQ实例获得了共享文件的锁,这个实例就成为了Master,其它实例即为Slave。如果这时Master挂了,其它AMQ实例会竞争共享文件的锁,获得锁的就成为Master,其它实例还是Slave

        部署时Slave没有限制数,而且自动切换Master不需要人工干预。

        官方资料:http://activemq.apache.org/masterslave.html 

        Shared File System Master Slave模式如图所示:

           

    本例子是在一台机器上运行三个ActiveMQ实例,需要对ActiveMQ的配置文件做一些简单的配置,就是把持久化适配器的存储目录改为本地磁盘的一个固定目录,三个实例共享这个目录,如下:

      <persistenceAdapter>  

        <kahaDB directory="E:/XXX/XXX/XXX/cluster/shared_file/data/kahadb" />  

      </persistenceAdapter>

    然后修改ActiveMQ实例的服务端口和jetty的服务端口,防止端口占用异常。启动三个ActiveMQ实例,就可以进行测试了。 

    以上配置只能在一台机器进行,如果各个ActiveMQ实例需要运行在不同的机器,就需要用到分布式文件系统了。

 

  (3) JDBC Master Slave

    JDBC Master Slave模式和Shared File Sysytem Master Slave模式的原理是一样的,只是把共享文件系统换成了共享数据库。我们只需在所有的ActiveMQ的主配置文件中(${ACTIVEMQ_HOME}/conf/activemq.xml)添加数据源,让所有的数据源都指向同一个数据库即可。

    这种方式的集群相对Shared File System Master Slave更加简单,更加容易地进行分布式部署,但是如果数据库失效,那么所有的ActiveMQ实例都将失效。 

    官方资料:http://activemq.apache.org/masterslave.html

    配置概述:  

      A. 配置上,不存在MasterSlave,所有Broder的配置基本是一样的

      B. 多个共享数据源的Broker构成JDBC Master Slave

      C. 给每个Broker一个名字

      D. 首先抢到资源(数据库锁)的Broker成为Masetr

      E. 其他Broker保持预备状态,定期尝试抢占资源,运行其的Shell中清楚的显示了这一点

      F. 一旦Master崩溃,其他Broker尝试抢占资源,最终只有一台抢到,它立刻成为Master

      G. 之前的Master即使重启成功,也只能作为Slave等待 

    配置步骤:

      1. 修改持久化适配器为 MySQL:

        <persistenceAdapter>

          <jdbcPersistenceAdapter dataDirectory="activemq-data" dataSource="#mysql-ds"/>

        </persistenceAdapter>

      2.  在activemq.xml 添加如下代码:

        <!--配置数据源:注意是配在broker标记之外-->

        <bean id="mysql-ds" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">  

          <property name="driverClassName" value="com.mysql.jdbc.Driver"/>  

          <property name="url" value="jdbc:mysql://localhost:3306/mq?relaxAutoCommit=true"/>  

          <property name="username" value="root"/>  

          <property name="password" value="123456"/>  

          <property name="maxActive" value="200"/>  

          <property name="poolPreparedStatements" value="true"/>  

        </bean>  

      3.  修改每个brokertcp端口。否则,该端口被占用时会报错。

          Eg: <transportConnector   name="openwire"  uri="tcp://0.0.0.0:61616"/>

            <transportConnector  name="openwire"  uri="tcp://0.0.0.0:61617"/>

            <transportConnector   name="openwire"  uri="tcp://0.0.0.0:61618"/>

      4.  测试时,最好为每一个Broker都起一个独立的名字。

          Eg:  <broker brokerName="broker_01" … />

      5. 在 ${ACTIVEMQ_HOME}/lib中添加 MysQL驱动jar: mysql-connector-java-5.1.7-bin.jar

          详情参见资料http://blog.csdn.net/jiangxuchen/article/details/8004612

   

      客户端连接服务端代码

            ConnectionFactory cf = new ActiveMQConnectionFactory("failover:(tcp://0.0.0.0:61616,  tcp://0.0.0.0:61617,  tcp://0.0.0.0:61618)");

  结论

    JDBC Master Slave模式实现方式稍微复杂一点,可以实现消息的多点热备功能,MasterSlave的交替完全是即时的,自动的,无需重启任何broker;队列可以实现消息的异步和点对点发送

    以上三种方式的集群都不支持负载均衡,但可以解决单点故障(某台broker坏掉)的问题,以保证消息服务的可靠性。

 

2Broker Cluster

  Broker Cluster方式主要是通过network of Brokers在多个ActiveMQ实例之间进行消息的路由。Broker的集群分为Static DiscoveryDynamic Discovery两种。

  (1) Static Discovery集群 

    Static Discovery集群就是通过硬编码的方式使用所有已知ActiveMQ实例的URI地址。

    如:消息生产者应用连接一个ActiveMQ实例,我们暂时称为MQ1,所有的消息都由该实例提供;两个消息消费者应用分别连接另外两个ActiveMQ实例,分别为MQ2MQ3,两个消息消费者需要消费MQ1上的消息,但它们连接的都不是MQ1,可以通过Static Discovery方式把MQ1上的消息路由到MQ2MQ3,为了保证消费者不因某个节点的失效而导致不能消费消息,在消费者应用中需要配置所有节点的URI。 

 

    配置    

      A、生产者的broker不需要特殊的配置

      B、修改每个brokertcp端口

        <transportConnector   name="openwire"  uri="tcp://0.0.0.0:61616"/>

        <transportConnector  name="openwire"  uri="tcp://0.0.0.0:61617"/>

        <transportConnector   name="openwire"  uri="tcp://0.0.0.0:61618"/>

      C. 修改每个broker的名字

        Eg:   <broker brokerName="broker_01" … />

      D. 所有的消费者的broker需要添加networkConnectors节点,用于连接到生产者的broker,如: 

        <networkConnectors>  

          <networkConnector uri="static:failover://(tcp://localhost:61616)" duplex="true" />  

        </networkConnectors> 

        注这段配置需要加在<persistenceAdapter>节点的前面。

       E、最后,在消费者应用中设置brokerURL的值如:

        <property name="brokerURL"  value="failover:(tcp://localhost:61616)" />  

    

      Static Discovery集群方式有些缺点,如不能解决单点故障问题,若某个Broker失效时,有可能造成数据的丢失,动态添加节点不够智能化。 

      更加详细的说明与配置请参考:http://activemq.apache.org/networks-of-brokers.html

 

  (2) Dynamic Discovery集群

    Dynamic Discovery集群方式在配置broker时,不需要知道所有其它broker的URI地址,只需在所有实例的${ACTIVEMQ_HOME}/conf/activemq.xml文件中添加以下内容:

    <networkConnectors>  

      <networkConnector  uri="multicast://default" />  

    </networkConnectors> 

    同时在<transportConnectors>节点中添加以下红色部分内容:

    <transportConnectors>  

      <transportConnector name="openwire" uri="tcp://0.0.0.0:61616" discoveryUri="multicast://default" />  

    </transportConnectors>  

    最后,注意修改每个brokeractivemq.xmlbroker名字和tcp端口号。这样就可以实现消息在所有ActiveMQ实例之间进行路由。Dynamic Discovery集群方式的缺点和Static Discovery一样。

    

    从以上的分析可以看出,Master-Slave模式不支持负载均衡,但可以通过消息的实时备份或共享保证消息服务的可靠性,Broker Cluster模式支持负载均衡,可以提高消息的消费能力,但不能保证消息的可靠性。所以为了支持负载均衡,同时又保证消息的可靠性,我们可以采用Msater-Slave+Broker Cluster的模式。

    

posted on 2016-02-03 07:27  快跑的小鸡  阅读(1070)  评论(0编辑  收藏  举报

导航