RocketMq（一、双master模式集群搭建）
一、简介
RocketMQ是一款分布式、队列模型的消息中间件，由阿里巴巴自主研发，基于Metaq内核，在Metaq3.X之后改名为RocketMq，仅借鉴参考了JMS规范，但不遵循JMS规范。摒弃了通过zookeeper,使用更为轻量级的nameserver进行网络路由，提高服务性能，并且支持消息失败重试机制。
除了常规的JMS概念之外：
nameserver: 存储当前集群所有Brokers信息、Topic跟Broker的对应关系。
broker: 集群最核心模块，主要负责Topic消息存储、消费者的消费位点管理（消费进度）。
集群部署结构：
本文仅介绍双master搭建模式，因系统并发量要求不高，双master模式已足够，其他集群模式请自行百度。
二、工作流程
1，启动Nameserver，Nameserver起来后监听端口，等待Broker、Produer、Consumer连上来，相当于一个路由控制中心（zookeeper的作用，但比ZK更轻量级）。
2，Broker启动，跟所有的Nameserver保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有topic信息。注册成功后，Nameserver集群中就有Topic跟Broker的映射关系。
3，收发消息前，先创建topic，创建topic时需要指定该topic要存储在哪些Broker上。也可以在发送消息时自动创建Topic。
4，Producer发送消息，启动时先跟Namesrv集群中的其中一台建立长连接，并从Nameserver中获取当前发送的Topic存在哪些Broker上，然后跟对应的Broker建立长连接，直接向Broker发消息。
5，Consumer跟Producer类似。跟其中一台Nameserver建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费消息。
三、配置部署
rocketmq版本使用的是4.5.2，将下载好的文件放在linux服务器上解压。
在解压路径下面新建store文件夹，（先前参考网上新建了部分文件夹，但却导致broker启动失败，该原因还在排查）
修改bin/runbroker.sh的JVM配置，具体视生产情况而定，最好不要少于1g
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"
修改bin/server.sh的JVM配置，具体视生产情况而定，最好不要少于1g
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
修改conf/2m-noslave下面的broker配置
broker-a.properties
#所属集群名字 brokerClusterName=rocketmq-cluster #broker名字,注意此处不同的配置文件填写的不一样 brokerName=broker-a #两文档唯一区别 #0 表示 Master,>0 表示 Slave brokerId=0 #nameServer地址,分号分割 brokerId=0 #nameServer地址,分号分割 namesrvAddr=10.32.16.195:9876;10.32.16.196:9876 #在发送消息时,自动创建服务器不存在的topic,默认创建的队列数 defaultTopicQueueNums=4 #是否允许 Broker 自动创建Topic,建议线下开启,线上关闭 autoCreateTopicEnable=true #是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭 autoCreateSubscriptionGroup=true #Broker 对外服务的监听端口 listenPort=10911 #删除文件时间点,默认凌晨 4点 deleteWhen=04 #文件保留时间,默认 48 小时 fileReservedTime=120 #commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条,根据业务情况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir=/usr/local/rocketmq-4.5.2/store #commitLog 存储路径 storePathCommitLog=/usr/local/rocketmq-4.5.2/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue=/usr/local/rocketmq-4.5.2/store/consumequeue #消息索引存储路径 storePathIndex=/usr/local/rocketmq-4.5.2/store/index #checkpoint 文件存储路径 storeCheckpoint=/usr/local/rocketmq-4.5.2/store/checkpoint #abort 文件存储路径 abortFile=/usr/local/rocketmq-4.5.2/store/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=ASYNC_MASTER #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=ASYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量 #pullMessageThreadPoolNums=128
broker-b.properties
#所属集群名字 brokerClusterName=rocketmq-cluster #broker名字,注意此处不同的配置文件填写的不一样 brokerName=broker-b #两文档唯一区别 #0 表示 Master,>0 表示 Slave brokerId=0 #nameServer地址,分号分割 brokerId=0 #nameServer地址,分号分割 namesrvAddr=10.32.16.195:9876;10.32.16.196:9876 #在发送消息时,自动创建服务器不存在的topic,默认创建的队列数 defaultTopicQueueNums=4 #是否允许 Broker 自动创建Topic,建议线下开启,线上关闭 autoCreateTopicEnable=true #是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭 autoCreateSubscriptionGroup=true #Broker 对外服务的监听端口 listenPort=10911 #删除文件时间点,默认凌晨 4点 deleteWhen=04 #文件保留时间,默认 48 小时 fileReservedTime=120 #commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条,根据业务情况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir=/usr/local/rocketmq-4.5.2/store #commitLog 存储路径 storePathCommitLog=/usr/local/rocketmq-4.5.2/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue=/usr/local/rocketmq-4.5.2/store/consumequeue #消息索引存储路径 storePathIndex=/usr/local/rocketmq-4.5.2/store/index #checkpoint 文件存储路径 storeCheckpoint=/usr/local/rocketmq-4.5.2/store/checkpoint #abort 文件存储路径 abortFile=/usr/local/rocketmq-4.5.2/store/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=ASYNC_MASTER #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=ASYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量 #pullMessageThreadPoolNums=128
先启动两台服务器的namesrv
nohup sh mqnamesrv >/usr/local/rocketmq-4.5.2/logs/namesrv.log 2>&1 &
再启动两台服务器的broker
nohup sh mqbroker -c /usr/local/rocketmq-4.5.2/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &
查看mq启动情况：jps
则双master模式启动成功。
四、rocketmq控制台
下载开源项目：https://github.com/apache/rocketmq-externals
application.properties文件，将项目使用的rocketmq.config.namesrvAddr配置上去
打包：mvn clean package -Dmaven.test.skip=true
运行springboot项目：java -jar xx.jar
期间服务启动失败：
是由于rocketmq服务防火墙没有关闭
systemctl stop firewalld.service
