RocketMQ安装
一、单实例安装&启动
下载rocketmq安装包:
cd /opt/soft
# 下载二进制安装包
wget https://archive.apache.org/dist/rocketmq/4.7.1/rocketmq-all-4.7.1-bin-release.zip
# 如果没有安装
unzip yum install -y unzip
# 解压
unzip rocketmq-all-4.7.1-bin-release.zip
# 创建软链
ln -s /opt/soft/rocketmq-all-4.7.1-bin-release /usr/local/rocketmq
启动 NameServer、Broker:
先启动NameServer,然后启动Broker,并向 NameServer 注册自己
################### NameServer ###################
# 启动之前根据本机内存大小,看看是否需要修改 JAVA_OPT 的内存设置
cd /usr/local/rocketmq/bin
sed -i 's/-Xms4g -Xmx4g -Xmn2g/-Xms1g -Xmx1g -Xmn512m/g' ./runserver.sh
# 启动nameserver
nohup /usr/local/rocketmq/bin/mqnamesrv &
# 查看 NameServer启动日志
tail -f ~/logs/rocketmqlogs/namesrv.log
# 关闭
/usr/local/rocketmq/bin/mqshutdown namesrv
################### Broker ###################
# 启动之前根据本机内存大小,看看是否需要修改 JAVA_OPT 的内存设置
cd /usr/local/rocketmq/bin
sed -i 's/-Xms8g -Xmx8g -Xmn4g/-Xms1g -Xmx1g -Xmn512m/g' ./runbroker.sh
# 启动broker
nohup /usr/local/rocketmq/bin/mqbroker -n localhost:9876 &
# 我的测试版本4.7.1,需要加上autoCreateTopicEnable=true 参数
# 否则在测试发送消息的时候会报异常
nohup /usr/local/rocketmq/bin/mqbroker -n localhost:9876 autoCreateTopicEnable=true &
# 查看 Broker 启动日志
tail -f ~/logs/rocketmqlogs/broker.log
# 关闭
/usr/local/rocketmq/bin/mqshutdown broker
验证:
查看JAVA进程,是否存在NamesrvStartup、BrokerStartup, 如果没有则查看LOG日志查找问题
jps
发送和接收消息:
/usr/local/rocketmq/bin
# autoCreateTopicEnable=true 4.8.0有bug,加了也没用
# 创建topic
sh mqadmin updateTopic -t TopicTest -n 192.168.1.2:9876 -b localhost:10911
# 临时设置namesrv环境变量
export NAMESRV_ADDR=localhost:9876
# 使用rocket自动的生产者
sh tools.sh org.apache.rocketmq.example.quickstart.Producer
# 使用rocket自动的消费者
sh tools.sh org.apache.rocketmq.example.quickstart.Consumer
二、集群配置&启动
准备两台服务器,192.168.18.24;192.168.18.27
- 修改配置文件broker-a.propterties 24上面
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master,>0 表示 Slave
brokerId=0
#nameServer地址,分号分割
namesrvAddr=rocketmq-n1:9876;rocketmq-n2:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点,默认凌晨 4点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/data/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/data/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
- 修改配置文件broker-b-s.propterties 24上面
brokerClusterName=rocketmq-cluster
brokerName=broker-b
brokerId=1
namesrvAddr=192.168.18.24:9876;192.168.18.27:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=11011
deleteWhen=04
fileReservedTime=120
mapedFileSizeCommitLog=1073741824
mapedFileSizeConsumeQueue=300000
diskMaxUsedSpaceRatio=88
storePathRootDir=/data/rocketmq/store-s
storePathCommitLog=/data/rocketmq/store-s/commitlog
storePathConsumeQueue=/data/rocketmq/store-s/consumequeue
storePathIndex=/data/rocketmq/store-s/index
storeCheckpoint=/data/rocketmq/store-s/checkpoint
abortFile=/data/rocketmq/store-s/abort
maxMessageSize=65536
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
- 修改配置文件broker-b.propterties 27上面
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master,>0 表示 Slave
brokerId=0
#nameServer地址,分号分割
namesrvAddr=rocketmq-n1:9876;rocketmq-n2:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点,默认凌晨 4点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/data/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/data/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
- 修改配置文件broker-a-s.propterties 27上面
brokerClusterName=rocketmq-cluster
brokerName=broker-a
brokerId=1
namesrvAddr=192.168.18.24:9876;192.168.18.27:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=11011
deleteWhen=04
fileReservedTime=120
mapedFileSizeCommitLog=1073741824
mapedFileSizeConsumeQueue=300000
diskMaxUsedSpaceRatio=88
storePathRootDir=/data/rocketmq/store-s
storePathCommitLog=/data/rocketmq/store-s/commitlog
storePathConsumeQueue=/data/rocketmq/store-s/consumequeue
storePathIndex=/data/rocketmq/store-s/index
storeCheckpoint=/data/rocketmq/store-s/checkpoint
abortFile=/data/rocketmq/store-s/abort
maxMessageSize=65536
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
- 启动集群
# 分别在两台虚拟机上执行 24
mkdir /data/rocketmq/store -p
mkdir /data/rocketmq/store/commitlog -p
mkdir /data/rocketmq/store/consumequeue -p
mkdir /data/rocketmq/store/index -p
# 27
mkdir /data/rocketmq/store-s -p
mkdir /data/rocketmq/store-s/commitlog -p
mkdir /data/rocketmq/store-s/consumequeue -p
mkdir /data/rocketmq/store-s/index -p
#停止broker namesrv
cd /usr/local/rocketmq/conf/2m-2s-sync
sh /usr/local/rocketmq/bin/mqshutdown broker
sh /usr/local/rocketmq/bin/mqshutdown namesrv
# 在 24 上执行
nohup /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m- 2s-sync/broker-a.properties & nohup /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m- 2s-sync/broker-b-s.properties &
# 在 27 上执行
nohup /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m- 2s-sync/broker-b.properties & nohup /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m- 2s-sync/broker-a-s.properties &
# 查看集群信息
/usr/local/rocketmq/bin/mqadmin clusterlist -n 192.168.18.24:9876;192.168.18.27:9876
# 关闭
sh /usr/local/rocketmq/bin/mqshutdown broker
sh /usr/local/rocketmq/bin/mqshutdown namesrv
- rocketmq web管理界面
git clone https://github.com/apache/rocketmq-externals
cd rocketmq-externals/rocketmq-console
mvn clean package -Dmaven.test.skip=true
# 启动
nohup java -jar rocketmq-console-ng-2.0.0.jar --server.port=8081 -- rocketmq.config.namesrvAddr=192.168.18.24:9876\;192.168.18.27:9876 >> /root/logs/rocketmqlogs/mq-console.log 2>&1 &
三、RocketMQ 排坑:设置broker的ip地址
需要在启动的时候导入配置文件
# 进入rocketmq根目录
cd /usr/local/rocketmq
#启动 mqnamesrv
nohup sh bin/mqnamesrv &
# 编写配置文件,并写好配置
echo "brokerIP1=192.168.18.24" >> conf/broker.properties
#重点:mrbroker 启动时通过 -c 加载配置文件
nohup sh bin/mqbroker -n 192.168.1.2:9876 -c /usr/local/rocketmq/conf/broker.conf &
原理:
RocketMQ 的broker 启动类
org.apache.rocketmq.broker.BrokerStartup
启动的时候会读取代码中的默认配置,关于 broker的配置在
org.apache.rocketmq.common.BrokerConfig
根据源代码可以得知,broker使用的默认IP为本机Ip
brokerIP1 = RemotingUtil.getLocalAddress();
得到选取ip的思路是,遍历本地的所有网卡ip,过滤掉 “127.0” 和“192.168”开头的ip地址然后得到第一个ip,为本机ip。
问题:
当这台机器有很多别的网卡(如:安装docker后),broker使用的ip,就可能会导致我们的客户端无法连接
if (commandLine.hasOption('c'))
确定是否执行代码加载额外配置文件。加载时,通过反射的方式,根据配置文件中的键值对,赋值到BrokerConfig 中对应的属性中。
最后:
RocketMQ 启动时会打印出所有“重要的配置” (被@ImportantField所注解的属性),通过打印的brokerIP1 的属性,就可以知道,配置是否成功了。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步