rocketmq学习(二) rocketmq集群部署与图形化控制台安装
1.rocketmq图形化控制台安装
虽然rocketmq为用户提供了使用命令行管理主题、消费组以及broker配置的功能,但对于不够熟练的非运维人员来说,命令行的管理界面还是较难使用的。为此,我们可以使用图形化的管理界面来简化管理操作。
rocketmq官方推荐的图形化控制台目前还处在不成熟的孵化阶段。仓库地址为(https://github.com/apache/rocketmq-externals),其中包含了rocketmq相关拓展的、属于孵化期的各种项目。下载源码之后,找到rocketmq-console文件夹,这就是rocketmq官方推荐的图形化控制台项目,基于springboot和angularJS。
打开application.properties,能看到一些重要参数的配置,例如端口,nameServer地址,登录权限控制等等。对于启动参数的设置,可以选择直接在配置文件中修改;也可在启动项目时通过命令行指定。
为部署项目,先执行maven的打包命令(mvn clean package),生成jar包。
然后执行java -jar rocketmq-console-ng-1.0.1.jar --rocketmq.config.namesrvAddr=localhost:9876(nameServer地址) --server.port=8080(启动端口)。
通过浏览器访问项目启动的ip/port,即可看到以下管理界面(右上角可以中英文切换)。
至此,rocketmq图形化控制台安装成功。
2.rocketmq集群部署
rocketmq的单机部署虽然简单方便,却存在着单点故障的问题。通过集群部署nameServer和broker可以实现rocketmq服务端的高可用。
下面介绍rocketmq的集群部署,以在两台机器上搭建一个双主双从的高可用rocketmq集群为例子,这两台机器(linux环境)的IP地址分别是192.168.32.130,和192.168.32.131。
2.1 nameServer集群部署
由于nameServer的集群节点之间互不通信,所以不需要额外的配置。
在两台机器的rocketmq安装的根路径下分别执行"sh bin/mqnamesrv",各启动一个nameServer,使用其默认的端口9876。
现在,192.168.32.130:9876和192.168.32.131:9876上都各运行着一个nameServer服务。
2.2 broker集群部署
broker作为rocketmq的核心,其运行的稳定性至关重要。前面提到的双主双从(2-master-2-slave)实际上指代的是broker的集群运行模式,从broker作为主broker的备份,负责和主broker保持数据同步,可读不可写。
rocketmq通过赋予broker名称来区别不同角色的broker。我们把当前两个角色的broker分别命名为broker-a和broker-b。
在192.168.32.130 部署broker-a的主和broker-b的从,在192.168.32.131 部署broker-b的主和broker-a的从,同一角色的主从分别部署在不同的机器上。这样,即使任意一台机器挂掉,由于从broker的存在,broker-a和broker-b依然可以对外提供服务。
启动broker时,可以通过指定配置文件的方式为broker设置一系列参数。不同角色的broker,主从broker之间的配置文件参数内容各不相同。
broker配置文件中参数介绍:
brokerName:broker名称,互为主从的broker名称保持一致。
namesrvAddr:关联的nameserver地址,多个用";"隔开。
listenPort:broker监听端口,同一机器部署多个broker不能监听端口不能相同,避免冲突
storePathRootDir:broker存储数据的根目录
brokerClusterName:broker集群名称,相同集群的master能互相识别
brokerId:0代表master,大于0代表不同的slave-broker
deleteWhen:删除过时消息的时间,04代表凌晨4点
fileReservedTime:落盘数据文件保存的时长,单位小时
brokerRole:brokerRole有三种类型,SYNC_MASTER、ASYNC_MASTER和SLAVE,SYNC_M和ASYNC_M都代表主broker,区别在于主从之间进行数据同步的方式不同。SYNC代表主从数据同步完成,才向客户端返回消息发送成功结果;反之ASYNC代表主库收到消息后立即返回发送消息成功结果。
可以看到,ASYNC_MASTER的效率更高,但是当MASTER出现故障时,可能出现消息丢失的问题。需要用户进行效率与可靠性之间的取舍。
flushDiskType:flushDiskType有两种类型,SYNC_FLUSH(同步刷盘)和ASYNC_FLUSH(异步刷盘),用于指定broker在接收到消息后,返回消息发送结果和数据落盘处理的策略。当选择同步刷盘时,只有当消息数据真正的写入磁盘持久化时,才返回消息发送成功。选择异步刷盘时,消息数据写入本地虚拟内存映射后,就直接返回。
broker的本地落盘策略和主从同步策略的选择类似,都需要在效率与可靠性、一致性之间进行取舍。
比较推荐的一种配置方案是主从同步策略选择SYNC_MASTER而本地落盘策略选择SYNC_FLUSH。从可靠性的角度来看,只要主从broker没有同时挂掉(避免了单点故障),消息将不会丢失;从效率的角度来看,由于主从broker都是异步落盘,执行效率也有一定的保障,是一个优秀的折中方案。
broker配置文件详情:
broker-a主broker 配置文件(broker-a.properties):
brokerName=broker-a namesrvAddr=192.168.32.130:9876;192.168.32.131:9876 listenPort=10911 storePathRootDir=/root/rocketmq/data/store/store-a brokerClusterName=DefaultCluster brokerId=0 deleteWhen=04 fileReservedTime=48 brokerRole=SYNC_MASTER flushDiskType=ASYNC_FLUSH
broker-b主broker 配置文件(broker-b.properties):
brokerName=broker-b namesrvAddr=192.168.32.130:9876;192.168.32.131:9876 listenPort=10911 storePathRootDir=/root/rocketmq/data/store/store-b brokerClusterName=DefaultCluster brokerId=0 deleteWhen=04 fileReservedTime=48 brokerRole=SYNC_MASTER flushDiskType=ASYNC_FLUSH
broker-a从broker 配置文件(broker-a-s.properties):
brokerName=broker-a namesrvAddr=192.168.32.130:9876;192.168.32.131:9876 listenPort=11011 storePathRootDir=/root/rocketmq/data/store/store-a brokerClusterName=DefaultCluster brokerId=1 deleteWhen=04 fileReservedTime=48 brokerRole=SLAVE flushDiskType=ASYNC_FLUSH
broker-b从broker 配置文件(broker-b-s.properties):
brokerName=broker-b namesrvAddr=192.168.32.130:9876;192.168.32.131:9876 listenPort=11011 storePathRootDir=/root/rocketmq/data/store/store-b brokerClusterName=DefaultCluster brokerId=1 deleteWhen=04 fileReservedTime=48 brokerRole=SLAVE flushDiskType=ASYNC_FLUSH
在对应机器依次执行以下命令,依次启动broker(先启动主broker,后启动从broker)。
192.168.32.130执行:sh bin/mqbroker -c [配置文件路径 eg: rocketmq/data/conf/broker-a.properties]
192.168.32.131执行:sh bin/mqbroker -c [配置文件路径 eg: rocketmq/data/conf/broker-b.properties]
192.168.32.131执行:sh bin/mqbroker -c [配置文件路径 eg: rocketmq/data/conf/broker-a-s.properties]
192.168.32.130执行:sh bin/mqbroker -c [配置文件路径 eg: rocketmq/data/conf/broker-b-s.properties]
此时,rocketmq双主双从的broker集群已经搭建完毕。启动图形控制台,指定命令行参数namesrvAddr=192.168.32.130:9876;192.168.32.131:9876,可看到以下信息:
3. 使用java客户端收发消息
前面我们通过命令行的方式进行了rocketmq收发消息的测试。但在实际使用过程中,还是需要sdk客户端来进行收发消息。这里,我们使用rocketmq提供的java sdk来进行rocketmq的消息收发实验。
先通过图形控制台创建一个主题用于测试,主题名称为"TopicTest"(随便取的)。
接着启动一个java项目,加入rocketmq-client的依赖。
maven坐标:
<!-- 原生rocketmq client --> <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-client</artifactId> <version>4.4.0</version> </dependency>
生产者producer示例代码:
public class Producer { public static void main(String[] args) throws Exception { final DefaultMQProducer producer = new DefaultMQProducer("test_producer_group"); // 设置nameServer地址 producer.setNamesrvAddr("192.168.32.130:9876;192.168.32.131:9876"); producer.start(); for (int i = 0; i < 1000; i++) { try { // 构造消息对象,topic=TopicTest,tag=TagA Message msg = new Message("TopicTest", "TagA" , ("Hello RocketMQ TopicTest" + i).getBytes(RemotingHelper.DEFAULT_CHARSET)); // 发送消息 SendResult sendResult = producer.send(msg); System.out.printf("%s%n", sendResult); } catch (Exception e) { e.printStackTrace(); Thread.sleep(1000); } } producer.shutdown(); } }
消费者consumer示例代码:
public class Consumer { public static void main(String[] args) throws Exception { DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("test_consumer_group"); // 设置nameServer地址 consumer.setNamesrvAddr("192.168.32.130:9876;192.168.32.131:9876"); consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET); // 订阅主题 tag="*"代表订阅TopicTest主题下所有子主题消息 consumer.subscribe("TopicTest", "*"); // 注册消息监听回调函数 consumer.registerMessageListener((MessageListenerConcurrently)(msgs, context) -> { for(MessageExt messageExt : msgs){ String strMsg = new String(messageExt.getBody()); System.out.printf("%s Receive New Messages: %s %n", Thread.currentThread().getName(), strMsg); } return ConsumeConcurrentlyStatus.CONSUME_SUCCESS; }); consumer.start(); System.out.printf("Consumer Started.%n"); } }
生产者和消费者都是简单的main方法启动,先启动producer发送消息,然后启动consumer接受消息,控制台上将会看到接受时消息的日志。可以试试主动关闭一个master-broker,看看broker集群的消息收发是否正常。
至此,通过java客户端使用rocketmq的测试告一段落。
总结
本篇博客介绍了rocketmq的集群部署,图形化界面的安装以及如何使用java客户端与rocketmq进行交互。rocketmq还有着许多好用,强大的功能,后续的博客将结合着rocketmq的源码来介绍它们。
去阅读并理解源码,可以在解决问题时能看得更深、更远。通过阅读rocketmq的源码,除了更好地掌握rocketmq外,也能够从源码中学习到许多架构设计和编程实践相关的知识。
如有理解不到位的地方,请多多指教。