RocketMQ集群搭建(实例)
网上很多搭建RocketMQ的教程,但是在楼主的疯狂百度以及疯狂采坑下,终于成功的搭建了一个RocketMQ的集群(LingZsj真的是太难了啊~.~)
废话不多说开始搭建集群了
咋们搭建一个多master多slave模式(同步)的集群,这边条件有限只有两台服务器(所以我们的集群就是一个双主双从的集群架构模式了)
首先说明下这边我直接写Linux命令,目的很简单就是为了能让一个 从未搭建过RocketMQ的小白也能通过复制粘贴搭建出一个属于自己的集群
ps:安装JDK的运行环境是必须的应为RokcetMQ是利用java语言来写的所以他必须依赖jdk来运行所以我们要先在两台服务器上分别安装jdk
cd /usr/local
mkdir javaJdk
cd javaJdk
#将下载好的jdk传输到服务器上
#传输好了解压缩下
tar -zxvf jdk-8u271-linux-x64.tar.gz
#删掉JDK压缩包
rm -rf jdk-8u271-linux-x64.tar.gz
配置jdk的运行环境
vim /etc/profile
#jd环境配置部分
export JAVA_HOME=/usr/local/javaJdk/jdk1.8.0_271
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}
#保存文件
esc
:
wq
重新加载一次文件
source /etc/profile
1.修改网卡环境
cd /etc/hosts (下面是host的配置文件部分,同样的配置在第二台服务器也粘贴一次)
两台服务器一下分别是两台服务器的ip地址
# nameserver
xx.xxx.xx.xx1 rocketmq-nameserver1
xx.xxx.xx.xx2 rocketmq-nameserver2
# broker
xx.xxx.xx.xx1 rocketmq-master1
xx.xxx.xx.xx1 rocketmq-slave2
xx.xxx.xx.xx2 rocketmq-master2
xx.xxx.xx.xx2 rocketmq-slave1
2.重启网卡(第二台服务器同样)
systemctl restart network
ps;这边说下的第一个坑了,由于该服务器上有一堆docker服务(服务未投入生产)所以重启网卡后服务会出现连接不上的问题,问题不大重启docker服务即可然后在重启需要的容器(别傻乎乎的去重启服务器)
希望(shutdown -r now 立即重启) 这个命令你不会用到
3.关闭Linux服务器的防火墙(第二台同样)
# 关闭防火墙
systemctl stop firewalld.service
# 查看防火墙的状态
firewall-cmd --state
# 禁止firewall开机启动
systemctl disable firewalld.service
或者为了安全，只开放特定的端口号，RocketMQ默认使用3个端口：9876 、10911 、11011 。如果防火墙没有关闭的话，那么防火墙就必须开放这些端口：
# 开放name server默认端口
firewall-cmd --remove-port=9876/tcp --permanent
# 开放master默认端口
firewall-cmd --remove-port=10911/tcp --permanent
# 开放slave默认端口 (当前集群模式可不开启)
firewall-cmd --remove-port=11011/tcp --permanent
# 重启防火墙
firewall-cmd --reload
4.创建文件夹
cd /usr/local
#创建rocketmq文件夹
mkdir rocketmq
#进入到rocketmq文件夹内
cd rocketmq/
5.官网下载rockerMQ的安装包(这边下载二进制安装包)
官网链接地址:http://rocketmq.apache.org/dowloading/releases/ ---这边我下载的是4.4.0版本的
6.将下载的文件上传到rocketmq文件夹上(服务2也需要)
7.解压缩zip文件(服务2也需要)
unzip rocketmq-all-4.4.0-bin-release.zip
8.删掉安装包这边(这步不建议你们跟我一样写,自己斟酌)
rm -rf rocketmq-all-4.4.0-bin-release.zip
9.创建集群需要的文件夹
#主节点文件的存储路径
mkdir /usr/local/rocketmq/mstore
mkdir /usr/local/rocketmq/mstore/commitlog
mkdir /usr/local/rocketmq/mstore/consumequeue
mkdir /usr/local/rocketmq/mstore/index
#从节点服务服务器的文件存储路径
mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index
10.xx.xxx.xx.xx1服务器的broker-a.properties配置文件
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#配置外网连接地址
brokerIP1 = xx.xxx.xx.xx1
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/mstore
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/mstore/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/mstore/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/mstore/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/mstore/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/mstore/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
11.xx.xxx.xx.xx1的broker-b-s.properties文件配置
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#配置外网连接地址
brokerIP1 = xx.xxx.xx.xx1
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
12.xx.xxx.xx.xx2服务器的broker-b,properties文件的配置
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#配置外网连接地址
brokerIP1 = xx.xxx.xx.xx2
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/mstore
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/mstore/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/mstore/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/mstore/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/mstore/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/mstore/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
13.xx.xxx.xx.xx2中的broker-a-s,properties文件配置
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#配置外网连接地址
brokerIP1 = xx.xxx.xx.xx2
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
ps:这边说下master节点的文件夹和slave文件的文件夹为什么要分别创建应为公用一个问件加master服务能起来但是slave服务时起不来的(不信可以去试试)
15.修改启动脚本文件(两台服务都修改)
cd /usr/local/rockermq/rocketmq-all-4.4.0-bin-release/bin
vi runbroker.sh
-------文件配置如下-------
# 开发环境配置 JVM Configuration
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"
vi runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
启动服务
进入到rocketmq的安装包内
cd /usr/local/rockermq/rocketmq-all-4.4.0-bin-release/bin
ls
#首先分别启动两台服务器(xx.xxx.xx.xx1)的namesrv服务
nohup sh mqnamesrv & (&不能掉)
xx.xxx.xx.xx2的namesrv服务
nohup sh mqnamesrv & (&不能掉)
#启动xx.xxx.xx.xx1的master节点服务
nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-4.4.0-bin-release/conf/2m-2s-sync/broker-a.properties &
#启动slave服务
nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-4.4.0-bin-release/conf/2m-2s-sync/broker-b-s.properties &
#启动xx.xxx.xx.xx2
nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-4.4.0-bin-release/conf/2m-2s-sync/broker-b.properties &
#启动slave服务
nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-4.4.0-bin-release/conf/2m-2s-sync/broker-a-s.properties &
16.利用jps查看下(安装了jdk就能用--下图表示成功)
17.停止namesrv和broker服务
namesrv服务(停止)
sh mqshutdown namesrv
broker服务(停止)
sh mqshutdown broker
18.安装rocketmq-console控制台
利用docker安装控制台就好了
直接运行如下命令就好了
docker pull styletang/rocketmq-console-ng
安装镜像:
docker run -e "JAVA_OPTS=-Drocketmq.config.namesrvAddr=xx.xxx.xx.xx1:9876;xx.xxx.xx.xx2:9876 -Drocketmq.config.isVIPChannel=false" -p 9326:8080 -t styletang/rocketmq-console-ng
好了这就装好了~~
上图:(ok了)
