RocketMQ安装

一、单实例安装&启动

下载rocketmq安装包：

cd /opt/soft 

# 下载二进制安装包 
wget https://archive.apache.org/dist/rocketmq/4.7.1/rocketmq-all-4.7.1-bin-release.zip 

# 如果没有安装
unzip yum install -y unzip 

# 解压 
unzip rocketmq-all-4.7.1-bin-release.zip 

# 创建软链 
ln -s /opt/soft/rocketmq-all-4.7.1-bin-release /usr/local/rocketmq

启动 NameServer、Broker：
先启动NameServer，然后启动Broker，并向 NameServer 注册自己

################### NameServer ###################
#  启动之前根据本机内存大小，看看是否需要修改 JAVA_OPT 的内存设置
cd /usr/local/rocketmq/bin
sed -i 's/-Xms4g -Xmx4g -Xmn2g/-Xms1g -Xmx1g -Xmn512m/g' ./runserver.sh

# 启动nameserver 
nohup /usr/local/rocketmq/bin/mqnamesrv & 

# 查看 NameServer启动日志
tail -f ~/logs/rocketmqlogs/namesrv.log

# 关闭 
/usr/local/rocketmq/bin/mqshutdown namesrv 

################### Broker ###################
# 启动之前根据本机内存大小，看看是否需要修改 JAVA_OPT 的内存设置
cd /usr/local/rocketmq/bin
sed -i 's/-Xms8g -Xmx8g -Xmn4g/-Xms1g -Xmx1g -Xmn512m/g' ./runbroker.sh
 
# 启动broker 
nohup /usr/local/rocketmq/bin/mqbroker -n localhost:9876 & 

# 我的测试版本4.7.1，需要加上autoCreateTopicEnable=true 参数
# 否则在测试发送消息的时候会报异常
nohup /usr/local/rocketmq/bin/mqbroker -n localhost:9876 autoCreateTopicEnable=true &

# 查看 Broker 启动日志
tail -f ~/logs/rocketmqlogs/broker.log

# 关闭 
/usr/local/rocketmq/bin/mqshutdown broker

验证:
查看JAVA进程，是否存在NamesrvStartup、BrokerStartup，如果没有则查看LOG日志查找问题

jps

发送和接收消息:

/usr/local/rocketmq/bin 

# autoCreateTopicEnable=true 4.8.0有bug，加了也没用 
# 创建topic 
sh mqadmin updateTopic -t TopicTest -n 192.168.1.2:9876 -b localhost:10911 

# 临时设置namesrv环境变量 
export NAMESRV_ADDR=localhost:9876 

# 使用rocket自动的生产者 
sh tools.sh org.apache.rocketmq.example.quickstart.Producer 

# 使用rocket自动的消费者 
sh tools.sh org.apache.rocketmq.example.quickstart.Consumer

二、集群配置&启动

准备两台服务器，192.168.18.24；192.168.18.27

修改配置文件broker-a.propterties 24上面

brokerClusterName=rocketmq-cluster 
#broker名字，注意此处不同的配置文件填写的不一样 
brokerName=broker-a 
#0 表示 Master，>0 表示 Slave 
brokerId=0 
#nameServer地址，分号分割 
namesrvAddr=rocketmq-n1:9876;rocketmq-n2:9876 
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 
defaultTopicQueueNums=4 
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 
autoCreateTopicEnable=true 
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 
autoCreateSubscriptionGroup=true 
#Broker 对外服务的监听端口 
listenPort=10911 
#删除文件时间点，默认凌晨 4点 
deleteWhen=04 
#文件保留时间，默认 48 小时 
fileReservedTime=120 
#commitLog每个文件的大小默认1G 
mapedFileSizeCommitLog=1073741824 
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000 
#destroyMapedFileIntervalForcibly=120000 
#redeleteHangedFileInterval=120000 
#检测物理文件磁盘空间 
diskMaxUsedSpaceRatio=88 
#存储路径 
storePathRootDir=/data/rocketmq/store 
#commitLog 存储路径 
storePathCommitLog=/data/rocketmq/store/commitlog 
#消费队列存储路径存储路径 
storePathConsumeQueue=/data/rocketmq/store/consumequeue 
#消息索引存储路径 
storePathIndex=/data/rocketmq/store/index 
#checkpoint 文件存储路径 
storeCheckpoint=/data/rocketmq/store/checkpoint 
#abort 文件存储路径 
abortFile=/data/rocketmq/store/abort 
#限制的消息大小 
maxMessageSize=65536 
#flushCommitLogLeastPages=4 
#flushConsumeQueueLeastPages=2 
#flushCommitLogThoroughInterval=10000 
#flushConsumeQueueThoroughInterval=60000 
#Broker 的角色 
#- ASYNC_MASTER 异步复制Master 
#- SYNC_MASTER 同步双写Master 
#- SLAVE 
brokerRole=SYNC_MASTER 
#刷盘方式 
#- ASYNC_FLUSH 异步刷盘 
#- SYNC_FLUSH 同步刷盘 
flushDiskType=SYNC_FLUSH 
#checkTransactionMessageEnable=false 
#发消息线程池数量 
#sendMessageThreadPoolNums=128 
#拉消息线程池数量 
#pullMessageThreadPoolNums=128

修改配置文件broker-b-s.propterties 24上面

brokerClusterName=rocketmq-cluster 
brokerName=broker-b 
brokerId=1 
namesrvAddr=192.168.18.24:9876;192.168.18.27:9876 
defaultTopicQueueNums=4 
autoCreateTopicEnable=true 
autoCreateSubscriptionGroup=true 
listenPort=11011 
deleteWhen=04 
fileReservedTime=120 
mapedFileSizeCommitLog=1073741824 
mapedFileSizeConsumeQueue=300000 
diskMaxUsedSpaceRatio=88 
storePathRootDir=/data/rocketmq/store-s 
storePathCommitLog=/data/rocketmq/store-s/commitlog 
storePathConsumeQueue=/data/rocketmq/store-s/consumequeue 
storePathIndex=/data/rocketmq/store-s/index
storeCheckpoint=/data/rocketmq/store-s/checkpoint 
abortFile=/data/rocketmq/store-s/abort 
maxMessageSize=65536 
brokerRole=SLAVE 
flushDiskType=ASYNC_FLUSH

修改配置文件broker-b.propterties 27上面

brokerClusterName=rocketmq-cluster 
#broker名字，注意此处不同的配置文件填写的不一样 
brokerName=broker-b 
#0 表示 Master，>0 表示 Slave 
brokerId=0 
#nameServer地址，分号分割 
namesrvAddr=rocketmq-n1:9876;rocketmq-n2:9876 
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 
defaultTopicQueueNums=4 
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 
autoCreateTopicEnable=true 
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 
autoCreateSubscriptionGroup=true 
#Broker 对外服务的监听端口 
listenPort=10911 
#删除文件时间点，默认凌晨 4点 
deleteWhen=04 
#文件保留时间，默认 48 小时 
fileReservedTime=120 
#commitLog每个文件的大小默认1G 
mapedFileSizeCommitLog=1073741824 
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000 
#destroyMapedFileIntervalForcibly=120000 
#redeleteHangedFileInterval=120000 
#检测物理文件磁盘空间 
diskMaxUsedSpaceRatio=88 
#存储路径 
storePathRootDir=/data/rocketmq/store 
#commitLog 存储路径 
storePathCommitLog=/data/rocketmq/store/commitlog 
#消费队列存储路径存储路径 
storePathConsumeQueue=/data/rocketmq/store/consumequeue 
#消息索引存储路径 
storePathIndex=/data/rocketmq/store/index 
#checkpoint 文件存储路径 
storeCheckpoint=/data/rocketmq/store/checkpoint 
#abort 文件存储路径 
abortFile=/data/rocketmq/store/abort 
#限制的消息大小 
maxMessageSize=65536 
#flushCommitLogLeastPages=4 
#flushConsumeQueueLeastPages=2 
#flushCommitLogThoroughInterval=10000 
#flushConsumeQueueThoroughInterval=60000 
#Broker 的角色 
#- ASYNC_MASTER 异步复制Master 
#- SYNC_MASTER 同步双写Master 
#- SLAVE 
brokerRole=SYNC_MASTER 
#刷盘方式 
#- ASYNC_FLUSH 异步刷盘 
#- SYNC_FLUSH 同步刷盘 
flushDiskType=SYNC_FLUSH 
#checkTransactionMessageEnable=false 
#发消息线程池数量 
#sendMessageThreadPoolNums=128 
#拉消息线程池数量 
#pullMessageThreadPoolNums=128

修改配置文件broker-a-s.propterties 27上面

brokerClusterName=rocketmq-cluster 
brokerName=broker-a 
brokerId=1 
namesrvAddr=192.168.18.24:9876;192.168.18.27:9876 
defaultTopicQueueNums=4 
autoCreateTopicEnable=true 
autoCreateSubscriptionGroup=true 
listenPort=11011 
deleteWhen=04 
fileReservedTime=120 
mapedFileSizeCommitLog=1073741824 
mapedFileSizeConsumeQueue=300000 
diskMaxUsedSpaceRatio=88 
storePathRootDir=/data/rocketmq/store-s 
storePathCommitLog=/data/rocketmq/store-s/commitlog 
storePathConsumeQueue=/data/rocketmq/store-s/consumequeue 
storePathIndex=/data/rocketmq/store-s/index
storeCheckpoint=/data/rocketmq/store-s/checkpoint 
abortFile=/data/rocketmq/store-s/abort 
maxMessageSize=65536 
brokerRole=SLAVE 
flushDiskType=ASYNC_FLUSH

启动集群

# 分别在两台虚拟机上执行 24 
mkdir /data/rocketmq/store -p 
mkdir /data/rocketmq/store/commitlog -p 
mkdir /data/rocketmq/store/consumequeue -p 
mkdir /data/rocketmq/store/index -p 

# 27 
mkdir /data/rocketmq/store-s -p 
mkdir /data/rocketmq/store-s/commitlog -p 
mkdir /data/rocketmq/store-s/consumequeue -p 
mkdir /data/rocketmq/store-s/index -p 

#停止broker namesrv 
cd /usr/local/rocketmq/conf/2m-2s-sync 
sh /usr/local/rocketmq/bin/mqshutdown broker 
sh /usr/local/rocketmq/bin/mqshutdown namesrv 

# 在 24 上执行 
nohup /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m- 2s-sync/broker-a.properties & nohup /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m- 2s-sync/broker-b-s.properties & 

# 在 27 上执行 
nohup /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m- 2s-sync/broker-b.properties & nohup /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m- 2s-sync/broker-a-s.properties & 

# 查看集群信息 
/usr/local/rocketmq/bin/mqadmin clusterlist -n 192.168.18.24:9876;192.168.18.27:9876 

# 关闭 

sh /usr/local/rocketmq/bin/mqshutdown broker 
sh /usr/local/rocketmq/bin/mqshutdown namesrv

rocketmq web管理界面

git clone https://github.com/apache/rocketmq-externals 
cd rocketmq-externals/rocketmq-console 
mvn clean package -Dmaven.test.skip=true 

# 启动 
nohup java -jar rocketmq-console-ng-2.0.0.jar --server.port=8081 -- rocketmq.config.namesrvAddr=192.168.18.24:9876\;192.168.18.27:9876 >> /root/logs/rocketmqlogs/mq-console.log 2>&1 &

三、RocketMQ 排坑：设置broker的ip地址

需要在启动的时候导入配置文件

# 进入rocketmq根目录
cd /usr/local/rocketmq

#启动 mqnamesrv
nohup sh bin/mqnamesrv &

# 编写配置文件，并写好配置
echo "brokerIP1=192.168.18.24" >> conf/broker.properties

#重点：mrbroker 启动时通过 -c 加载配置文件
nohup sh bin/mqbroker -n 192.168.1.2:9876 -c /usr/local/rocketmq/conf/broker.conf &

原理：

RocketMQ 的broker 启动类

org.apache.rocketmq.broker.BrokerStartup

启动的时候会读取代码中的默认配置，关于 broker的配置在

org.apache.rocketmq.common.BrokerConfig

根据源代码可以得知，broker使用的默认IP为本机Ip

brokerIP1 = RemotingUtil.getLocalAddress();

得到选取ip的思路是，遍历本地的所有网卡ip，过滤掉 “127.0” 和“192.168”开头的ip地址然后得到第一个ip，为本机ip。

问题：
当这台机器有很多别的网卡（如：安装docker后），broker使用的ip，就可能会导致我们的客户端无法连接

if (commandLine.hasOption('c'))

确定是否执行代码加载额外配置文件。加载时，通过反射的方式，根据配置文件中的键值对，赋值到BrokerConfig 中对应的属性中。

最后：
RocketMQ 启动时会打印出所有“重要的配置” （被@ImportantField所注解的属性），通过打印的brokerIP1 的属性，就可以知道，配置是否成功了。

posted @ 2022-09-26 23:53 snail灬阅读(551) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

snail

RocketMQ安装

一、单实例安装&启动

二、集群配置&启动

三、RocketMQ 排坑：设置broker的ip地址

公告