RocketMQ学习笔记（16）----RocketMQ搭建双主双从（异步复制）集群
1. 修改RocketMQ默认启动端口
由于只有两台机器，部署双主双从需要四个节点，所以只能修改rocketmq的默认启动端口，从官网下载rocketmq的source文件，解压后使用idea打开，全局搜索9876，将所有使用9876端口的地方改为9877。
在终端打开，使用：mvn -Prelease-all -DskipTests clean install命令打包，打包完成后在项目的distribution\target将会有如下两个包：
分别是linux和win下运行的包。
将后缀为.tar.gz的包上传到服务器上。并使用tar -zxvf 文件名解压
2. 创建数据存储文件夹
在解压后的文件夹中新建数据存储文件夹
mkdir /usr/local/middle/rocketmq-9877/data #commitLog 存储路径 mkdir /usr/local/middle/rocketmq-9877/data/commitlog #消费队列存储路径存储路径 mkdir /usr/local/middle/rocketmq-9877/data/consumequeue #消息索引存储路径 mkdir /usr/local/middle/rocketmq-9877/data/index
两台服务器上都要上传包和在新传的包解压收的文件夹下都要新建文件夹。这里算上楼主之前上传的默认端口的rocketmq节点，每台已经有两个节点了。两台机器刚好可以做四个节点，双主双从。
3. 修改log文件
跟双master时操作一样，就不再详述，文章最后会放搭建双Master集群步骤的链接。
4. 修改配置文件
分别进入两台机器的rocketmq目录下的conf/2m-2s-sync/下，共有四个文件：
分别做如下配置
broker-a.properties
#所属集群名字 borkerClusterName=rocketmq-cluster #broker名字，注意此处不同的配置文件填写的不一样 brokerName=broker-a #0 表示Master, >0 表示Slave brokerId=0 #nameServer地址，分号分割 namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver1:9877;rocketmq-nameserver2:9877; #在发消息时，自动创建服务器不存在的topic,默认创建的队列数 defaultTopicQueueNums=4 #是否允许Broker自动创建Topic，建议线下开启，线上关闭 autoCreateTopicEnable=true #是否允许Broker自动创建订阅组，建议线下开启，线上关闭 autoCreateSubscriptionGroup=true #Broker 对外服务的监听端口 listenPort=10911 #删除文件时间点，默认凌晨4点 deleteWhen=04 #文件保留时间，默认48小时 fileReservedTime=120 #commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条，根据业务情况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir=/usr/local/middle/rocketmq/data #commitLog存储路径 storePathCommitLog=/usr/local/middle/rocketmq/data/commitlog #消费队列存储路径 storePathConsumeQueue=/usr/local/middle/rocketmq/data/consumequeue #消息索引存储路径 storePathIndex=/usr/local/middle/rocketmq/data/index #checkpoint 文件存储路径 storeCheckPoint=/usr/local/middle/rocketmq/data/checkpoint #abort 文件存储路径 abortFile=/usr/local/middle/rocketmq/data/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=SYNC_MASTER #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=SYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量
broker-a-s.properties
#所属集群名字 borkerClusterName=rocketmq-cluster #broker名字，注意此处不同的配置文件填写的不一样 brokerName=broker-a #0 表示Master, >0 表示Slave brokerId=1 #nameServer地址，分号分割 namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver1:9877;rocketmq-nameserver2:9877; #在发消息时，自动创建服务器不存在的topic,默认创建的队列数 defaultTopicQueueNums=4 #是否允许Broker自动创建Topic，建议线下开启，线上关闭 autoCreateTopicEnable=true #是否允许Broker自动创建订阅组，建议线下开启，线上关闭 autoCreateSubscriptionGroup=true #Broker 对外服务的监听端口 listenPort=10915 #删除文件时间点，默认凌晨4点 deleteWhen=04 #文件保留时间，默认48小时 fileReservedTime=120 #commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条，根据业务情况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir=/usr/local/middle/rocketmq/data #commitLog存储路径 storePathCommitLog=/usr/local/middle/rocketmq/data/commitlog #消费队列存储路径 storePathConsumeQueue=/usr/local/middle/rocketmq/data/consumequeue #消息索引存储路径 storePathIndex=/usr/local/middle/rocketmq/data/index #checkpoint 文件存储路径 storeCheckPoint=/usr/local/middle/rocketmq/data/checkpoint #abort 文件存储路径 abortFile=/usr/local/middle/rocketmq/data/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=SLAVE #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=SYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量 #pullMessageThreadPoolNums=128
broker-b.properties
#所属集群名字 borkerClusterName=rocketmq-cluster #broker名字，注意此处不同的配置文件填写的不一样 brokerName=broker-b #0 表示Master, >0 表示Slave brokerId=0 #nameServer地址，分号分割 namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver1:9877;rocketmq-nameserver2:9877; #在发消息时，自动创建服务器不存在的topic,默认创建的队列数 defaultTopicQueueNums=4 #是否允许Broker自动创建Topic，建议线下开启，线上关闭 autoCreateTopicEnable=true #是否允许Broker自动创建订阅组，建议线下开启，线上关闭 autoCreateSubscriptionGroup=true #Broker 对外服务的监听端口 listenPort=10911 #删除文件时间点，默认凌晨4点 deleteWhen=04 #文件保留时间，默认48小时 fileReservedTime=120 #commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条，根据业务情况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir=/usr/local/middle/rocketmq/data #commitLog存储路径 storePathCommitLog=/usr/local/middle/rocketmq/data/commitlog #消费队列存储路径 storePathConsumeQueue=/usr/local/middle/rocketmq/data/consumequeue #消息索引存储路径 storePathIndex=/usr/local/middle/rocketmq/data/index #checkpoint 文件存储路径 storeCheckPoint=/usr/local/middle/rocketmq/data/checkpoint #abort 文件存储路径 abortFile=/usr/local/middle/rocketmq/data/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=SYNC_MASTER #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=SYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量
broker-b-s.properties
#所属集群名字 borkerClusterName=rocketmq-cluster #broker名字，注意此处不同的配置文件填写的不一样 brokerName=broker-b #0 表示Master, >0 表示Slave brokerId=1 #nameServer地址，分号分割 namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver1:9877;rocketmq-nameserver2:9877; #在发消息时，自动创建服务器不存在的topic,默认创建的队列数 defaultTopicQueueNums=4 #是否允许Broker自动创建Topic，建议线下开启，线上关闭 autoCreateTopicEnable=true #是否允许Broker自动创建订阅组，建议线下开启，线上关闭 autoCreateSubscriptionGroup=true #Broker 对外服务的监听端口 listenPort=10910 #删除文件时间点，默认凌晨4点 deleteWhen=04 #文件保留时间，默认48小时 fileReservedTime=120 #commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条，根据业务情况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir=/usr/local/middle/rocketmq/data #commitLog存储路径 storePathCommitLog=/usr/local/middle/rocketmq/data/commitlog #消费队列存储路径 storePathConsumeQueue=/usr/local/middle/rocketmq/data/consumequeue #消息索引存储路径 storePathIndex=/usr/local/middle/rocketmq/data/index #checkpoint 文件存储路径 storeCheckPoint=/usr/local/middle/rocketmq/data/checkpoint #abort 文件存储路径 abortFile=/usr/local/middle/rocketmq/data/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=SLAVE #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=SYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量 #pullMessageThreadPoolNums=128
配置文件中的各个数据存储目录根据自己路径情况自行修改。
5. 修改日志文件
参照双Master.
6. 修改后传入的节点的JVM启动参数
参照双Master；
7. 启动NameServer和Broker
参照双Master
四个节点都启动完成后，启动控制台，可以看到
表明四个节点的Broker已经启动成功，且一个Master对应一个Slave,且当向Broker发送消息时，主从节点直接消息一致。
此时我们先向集群发送消息（不消费），然后停掉一台主节点。
启动Consumer，消息仍然可以完全消费，刚好验证了从节点在集群中的作用，保证Master挂掉时消息不会丢失。
双Maste集群随笔传送门：RocketMQ学习笔记（4）----RocketMQ搭建双Master集群
注意：
broker启动后会占用三个端口：
服务器监听端口（默认10911）
高可用端口（监听slave的请求），端口占用为服务器监听端口+1
快速服务器端口（VIP服务端口，也就是说客户端可以选择使用服务器监听端口或者这个端口通信，一般建议是设置VIP渠道为false的，即使用服务器监听端口通信【不设置就是10911这个端口】），这个端口的值为服务器监听端口-2，
所以在配置broker.properties时不要占用到默认端口计算之后会占用的端口，如果你启动多主多从，也要注意自己配置的端口情况。当然如果一台机器上只有一个节点，那么可以不用在意这个问题。
