RocketMQ - 0 环境 & 集群 搭建

RocketMQ - 环境 & 集群 搭建

2.1) 方案一

2.1.1) 上传压缩包

  • 步骤1：安装JDK（1.8）
1)解压 jdk
tar -zxvf jdk-8u171-linux-x64.tar.gz
2)配置环境变量
>vim /etc/profile
export JAVA_HOME=/opt/jdk1.8.0_171
export PATH=$PATH:${JAVA_HOME}/bin
3)重新加载配置
>source /etc/profile
>java -version

如果安装完毕 jdk 后 java -version 看到的是 openjdk(需要删除)因为 操作系统默认已经安装了 opendjdk

# 查看
rpm -qa | grep java
# 删除(把上一个命令看到的所有的jdk文件 用 如下命令删除)
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.232.b09-0.el7_7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.241-2.6.20.0.el7_7.x86_64
rmp -e --nodeps java-1.7.0-openjdk-1.7.0.241-2.6.20.0.el7_7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.241-2.6.20.0.el7_7.x86_64

image.png

  • 步骤2：上传压缩包（zip）

    • yum -y install lrzsz
    • rz

  • 步骤3：解压缩unzip rocketmq-all-4.5.2-bin-release.zip

  • 步骤4：修改目录名称mv rocketmq-all-4.5.2-bin-release rocketmq

2.1.2) 启动服务器

  • 步骤1：启动命名服务器（bin目录下）

    • sh mqnamesrv

  • 步骤2：启动消息服务器（bin目录下）

    • 修改*runbroker.sh*文件中有关内存的配置（调整的与当前虚拟机内存匹配即可，推荐256m-128m）

image.png

    • sh mqbroker -n localhost:9876

2.1.3) 测试服务器环境

  • 步骤1：配置命名服务器地址

    • export NAMESRV_ADDR=localhost:9876

  • 步骤2：启动生产者程序客户端（bin目录下）

    • sh tools.sh org.apache.rocketmq.example.quickstart.Producer
    • 启动后产生大量日志信息（注意该信息是测试程序中自带的，不具有通用性，仅供学习查阅参考）

  • 步骤3：启动消费者程序客户端（bin目录下）

    • sh tools.sh org.apache.rocketmq.example.quickstart.Consumer

2.2) 方案二（使用提供的虚拟机）

  • 步骤1：修改ip

    • vim /root/rocket/conf/broker.conf
    • 修改broker.conf中broker IP1为自己linux的ip

image.png

  • 步骤2：启动服务

    • cd /root/rocket
    • docker-compose up

以下为docker+rockerMQ安装过程，可忽略

https://www.yuque.com/docs/share/2f3612ed-3d6d-4f43-8639-4b5d493ac1d8?# 《docker+rocketmq》

集群搭建

4.1）集群结构与特征分析

4.1.1）集群结构

  • 单机

    • 一个broker提供服务(宕机后服务瘫痪)

  • 集群

    • 多个broker提供服务（单机宕机后消息无法及时被消费）
    • 多个master多个slave
      • master到slave消息同步方式为同步(较异步方式性能略低，消息无延迟)
      • master到slave消息同步方式为异步(较同步方式性能略高，数据略有延迟)

​ image.png

4.1.2）工作流程

image.png

  • 步骤1：NameServer启动，开启监听，等待broker、producer与consumer连接

  • 步骤2：broker启动，根据配置信息，连接所有的NameServer，并保持长连接

  • 步骤2补充：如果broker中有现存数据， NameServer将保存topic与broker关系

  • 步骤3：producer发信息，连接某个NameServer，并建立长连接

  • 步骤4：producer发消息

    • 步骤4.1若果topic存在，由NameServer直接分配
    • 步骤4.2如果topic不存在，由NameServer创建topic与broker关系，并分配

  • 步骤5：producer在broker的topic选择一个消息队列（从列表中选择）

  • 步骤6：producer与broker建立长连接，用于发送消息

  • 步骤7：producer发送消息

  • comsumer工作流程同producer

image.png

4.2）双主双从集群搭建

4.2.1) 集群架构

image.png

4.2.2）搭建过程

1) 配置主机名称(未来就可以根据主机名找到对应的服务器了)

vim /etc/hosts
# nameserver
192.168.184.128 rocketmq-nameserver1
192.168.184.129 rocketmq-nameserver2
# broker
192.168.184.128 rocketmq-master1
192.168.184.129 rocketmq-slave2
192.168.184.129 rocketmq-master2
192.168.184.128 rocketmq-slave1

配置完毕后重启网卡，应用配置

systemctl restart network

2) 关闭防火墙

# 关闭防火墙
systemctl stop firewalld.service 
# 查看防火墙的状态
firewall-cmd --state 
# 禁止firewall开机启动
systemctl disable firewalld.service

3) 配置jdk

详见 2.1.1) 步骤1

4) 配置服务器环境

将rocketmq 解压至跟目录 /

# 解压
unzip rocketmq-all-4.5.2-bin-release.zip
# 修改目录名称
mv rocketmq-all-4.5.2-bin-release rocketmq
vim /etc/profile
#set rocketmq
ROCKETMQ_HOME=/rocketmq
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

配置完毕后重启网卡，应用配置

source /etc/profile

5) 创建集群服务器的数据存储目录

主节点创建四个目录/ 从节点四个目录

mkdir /rocketmq/store
mkdir /rocketmq/store/commitlog
mkdir /rocketmq/store/consumequeue
mkdir /rocketmq/store/index


mkdir /rocketmq-slave/store
mkdir /rocketmq-slave/store/commitlog
mkdir /rocketmq-slave/store/consumequeue
mkdir /rocketmq-slave/store/index

注意master与slave如果在同一个虚拟机中部署，需要将存储目录区分开

6) 修改配置

不同的节点,应该修改不同的配置,文件夹也应该不一样

cd r/ocketmq/conf/2m-2s-sync
vim  broker-a.proerties
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=48

#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/rocketmq/store-slave
#commitLog 存储路径
storePathCommitLog=/rocketmq/store-slave/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/rocketmq/store-slave/consumequeue
#消息索引存储路径
storePathIndex=/rocketmq/store-slave/index
#checkpoint 文件存储路径
storeCheckpoint=/rocketmq/store-slave/checkpoint
#abort 文件存储路径
abortFile=/rocketmq


#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

检查启动内存 (nameserver 和broker 均需要修改)

vim /rocketmq/bin/runbroker.sh
vim /rocketmq/bin/runserver.sh

# 开发环境配置 JVM Configuration
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

启动(bin 目录)

nohup sh mqnamesrv &
nohup sh mqbroker -c ../conf/2m-2s-syncbroker-a.properties &
nohup sh mqbroker -c ../conf/2m-2s-sync/broker-b-s.properties &

5) rocketmq-console

rocketmq-console是一款基于java环境开发的（springboot）的管理控制台工具

获取地址：https://github.com/apache/rocketmq-externals

posted @ 2020-12-29 18:58  60kmph  阅读(172)  评论(0)  编辑  收藏  举报