RocketMQ高可用集群

集群支持：

　　RocketMQ天生对集群的支持非常友好

单Master：

　　优点：除了配置简单没什么优点

　　缺点：不可靠，该机器重启或宕机，将导致整个服务不可用

多Master：

　　优点：配置简单，性能最高

　　缺点：可能会有少量消息丢失（配置相关），单台机器重启或宕机期间，该机器下未被消费的消息在机器恢复前不可订阅，影响消息实时性

多Master多Slave异步模式：

　　每个Master配一个Slave，有多对Master-Slave，集群采用异步复制方式，主备有短暂消息延迟，毫秒级

　　优点：性能同多Master几乎一样，实时性高，主备间切换对应用透明，不需人工干预

　　缺点：Master宕机或磁盘损坏时会有少量消息丢失

多Master多Slave同步模式：

　　每个Master配一个Slave，有多对Master-Slave，集群采用同步双写方式，主备都写成功，向应用返回成功

　　优点：服务可用性与数据可用性非常高

　　缺点：性能比异步集群略低，当前版本主宕备不能自动切换为主。

　　需要注意的是，在RocketMQ里面，1台机器只能要么是Master，要么是Slave。这个在初始的机器配置里面，就定死了。不会像kafka那样存在master动态选举的功能。其中Master的broker id = 0，Slave的broker id > 0。有点类似于mysql的主从概念，master挂了以后，slave仍然可以提供读服务，但是由于有多主的存在，当一个master挂了以后，可以写到其他的master上。

集群搭建：2M-2S-SYNC(两主两从同步写)

　　环境准备：rocket-4.4.0 ，JDK1.8 ，同时定好4个节点的端口，我这里主节点为默认10911，从节点设置成 10950，另外nameserver都是默认9876端口，这些都好了之后一定记得将这些端口全部开放。我这里两台节点分别是192.168.1.101，192.168.1.102.

　　记得修改两台机器上的 runbroker.sh 与 runserver.sh 的虚拟机参数。

　　设置好节点的数据存储路径：

mkdir /mysoft/rocketmq/data 
mkdir /mysoft/rocketmq/data/store 存储路径
mkdir /mysoft/rocketmq/data/store/commitlog //commitLog 存储路径
mkdir /mysoft/rocketmq/data/store/consumequeue //消费队列存储路径存储路径
mkdir /mysoft/rocketmq/data/store/index //消息索引存储路径

　　这里需要配置4个配置文件，我们就在原来配置上进行一些简单的增加及修改，分别是:

192.168.1.101上的 ${ROCKETMQ-HOME}/conf/2m-2s-sync/broker-a.properties,${ROCKETMQ-HOME}/conf/2m-2s-sync/broker-b-s.properties
192.168.1.102上的 ${ROCKETMQ-HOME}/conf/2m-2s-sync/broker-b.properties,${ROCKETMQ-HOME}/conf/2m-2s-sync/broker-a-s.properties.

　　修改日志文件(两台机器):

mkdir -p /mysoft/rocketmq/logs
cd /mysoft/rocketmq/conf && sed -i 's#${user.home}#/mysoft/rocketmq#g' *.xml

192.168.1.101:${ROCKETMQ-HOME}/conf/2m-2s-sync/broker-a.properties:

brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.1.101:9876;192.168.1.102:9876
#store存储路径，master与slave目录要不同
storePathRootDir=/mysoft/rocketmq/data/store
#commitLog存储路径
storePathCommitLog=/mysoft/rocketmq/data/store/commitlog
brokerIP1=192.168.1.101
#很重要 slave通信用
brokerIP2=192.168.1.101

　　${ROCKETMQ-HOME}/conf/2m-2s-sync/broker-b-s.properties:

brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=1
brokerIP1=192.168.1.101
deleteWhen=04
listenPort=10950
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.1.101:9876;192.168.1.102:9876
storePathRootDir=/mysoft/rocketmq/data/store/slave
storePathCommitLog=/mysoft/rocketmq/data/store/slave/commitlog

192.168.1.102上的 ${ROCKETMQ-HOME}/conf/2m-2s-sync/broker-b.properties:

brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=0
brokerIP1=192.168.1.102
deleteWhen=04
fileReservedTime=48
namesrvAddr=192.168.1.101:9876;192.168.1.102:9876
storePathRootDir=/mysoft/rocketmq/data/store
storePathCommitLog=/mysoft/rocketmq/data/store/commitlog
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH
brokerIP2=192.168.1.102

　　${ROCKETMQ-HOME}/conf/2m-2s-sync/broker-a-s.properties:

brokerClusterName=DefaultCluster
brokerName=broker-a
listenPort=10950
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerIP1=192.168.1.102
brokerRole=SLAVE
namesrvAddr=192.168.1.101:9876;192.168.1.102:9876
storePathRootDir=/mysoft/rocketmq/data/store/slave
storePathCommitLog=/mysoft/rocketmq/data/store/slave/commitlog
flushDiskType=ASYNC_FLUSH

　　具体的配置可以参考一下这个文件去根据自身业务需求进行设置：

//所属集群名称，如果多个master，那么每个master配置的名称应该一致，要不然识别不了
brokerClusterName=rocketmq-cluster
//broker名称
brokerName=broker-a
//0 表示master，>0 表示slave
brokerId=0
//nameServer地址，分号隔开
namesrvAddr=192.168.5.100:9876;192.168.5.101:9876
//在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
//是否允许broker自动创建topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
//是否允许broker自动创建订阅组，建议线下开始，线上关闭
autoCreateSubscriptionGroup=true
//broker对外服务的监听端口，
//同一台机器部署多个broker，端口号要不同，且端口号之间要相距大些
listenPort=10911
//删除文件的时间节点，默认凌晨4点
deleteWhen=04
//文件保留时间，默认48小时
fileReservedTime=48
//commitLog每个文件的大小，默认大小1g
mapedFileSizeCommitLog=1073741824
//consumeQueue每个文件默认存30w条，根据自身业务进行调整
mapedFileSizeConsumeQueue=300000
destroyMapedFileInterval=120000
redeleteHangedFileInterval=120000
//检查物理文件磁盘空间
diskMaxUsedSpaceRatio=88
//store存储路径，master与slave目录要不同
storePathRootDir=/mysoft/rocketmq/data/store
//commitLog存储路径
storePathCommitLog=/mysoft/rocketmq/data/store/commitlog
//限制的消息大小
maxMessageSize=65536
flushCommitLogLeastPages=4
flushConsumeQueueLeastPages=2
flushCommitLogThoroughInterval=10000
flushConsumeQueueThoroughInterval=60000
checkTransactionMessageEnable=false
//发消息线程池数
sendMessageThreadPoolNums=128
//拉去消息线程池数
pullMessageThreadPoolNums=128
//broker角色：
//ASYSC_MASTER 异步复制master
//SYSC_MASTER 同步复制master
//SLAVE 从
brokerRole=SYSC_MASTER
///刷盘方式
//ASYNC_FLUSH 异步刷盘
//SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

　　先启动两台的 namesrv 。记得查看日志信息，确保两台都启动了。然后启动broker。

//192.168.1.101
nohup sh mqbroker -c ../conf/2m-2s-sync/broker-a.properties &
nohup sh mqbroker -c ../conf/2m-2s-sync/broker-b-s.properties &
//192.168.1.102
nohup sh mqbroker -c ../conf/2m-2s-sync/broker-b.properties &
nohup sh mqbroker -c ../conf/2m-2s-sync/broker-a-s.properties &

　　启动后一定去看一下日志，出现以下信息应该就是启动成功了：

　　也可以通过命令查看：sh mqadmin clusterlist -n 192.168.1.101:9876

　　至此集群启动完成，客户端再链接的时候通过设置 namesrv 如下去链接，其他一致：

consumer.setNamesrvAddr("192.168.1.101:9876;192.168.1.102:9876");

posted @ 2019-09-12 10:07 吴振照阅读(8143) 评论(0) 编辑收藏举报

刷新页面返回顶部

随风去。

莫道浮云终蔽日，严冬过尽春蓓蕾。

RocketMQ高可用集群

集群支持：

集群搭建：2M-2S-SYNC(两主两从同步写)

公告