RocketMQ安装部署及整合Springboot

消息中间件的功能:

  通过学习ActiveMq,kafka,rabbitMq这些消息中间件,我们大致能为消息中间件的功能做一下以下定义:可以先从基本的需求开始思考

  • 最基本的是要能支持消息的发送和接收,需要涉及到网络通信就一定会涉及到NIO
  • 消息中心的消息存储(持久化/非持久化)
  • 消息的序列化和反序列化
  • 是否跨语言
  • 消息的确认机制,如何避免消息重发

  高级功能:

  • 消息的有序性
  • 是否支持事务消息
  • 消息收发的性能,对高并发大数据量的支持
  • 是否支持集群
  • 消息的可靠性存储
  • 是否支持多协议

MQ消息存储选择:

  从主流的几种MQ消息队列采用的存储方式来看,主要会有三种

  1. 分布式KV存储,比如ActiveMQ中采用的levelDB、Redis, 这种存储方式对于消息读写能力要求不高的情况下可以使用
  2. 文件系统存储,常见的比如kafka、RocketMQ、RabbitMQ都是采用消息刷盘到所部署的机器上的文件系统来做持久化,这种方案适合对于有高吞吐量要求的消息中间件,因为消息刷盘是一种高效率,高可靠、高性能的持久化方式,除非磁盘出现故障,否则一般是不会出现无法持久化的问题
  3. 关系型数据库,比如ActiveMQ可以采用mysql作为消息存储,关系型数据库在单表数据量达到千万级的情况下IO性能会出现瓶颈,所以ActiveMQ并不适合于高吞吐量的消息队列场景。

  总的来说,对于存储效率,文件系统要优于分布式KV存储,分布式KV存储要优于关系型数据库.

RocketMQ的发展历史:

  RocketMq是一个由阿里巴巴开源的消息中间件, 2012年开源,2017年成为apache顶级项目。它的核心设计借鉴了Kafka,所以我们在了解RocketMQ的时候,会发现很多和kafka相同的特性。同时呢,Rocket在某些功能上和kafka又有较大的差异,接下来我们就去了解RocketMQ

  • 支持集群模型、负载均衡、水平扩展能力
  • 亿级别消息堆积能力
  • 采用零拷贝的原理,顺序写盘,随机读
  • 底层通信框架采用Netty NIO
  • NameServer代替Zookeeper,实现服务寻址和服务协调
  • 消息失败重试机制、消息可查询
  • 强调集群无单点,可扩展,任意一点高可用,水平可扩展
  • 经过多次双十一的考验

RocketMQ的架构:

  集群本身没有什么特殊之处,和kafka的整体架构类似,其中zookeeper替换成了NameServer。在rocketmq的早版本(2.x)的时候,是没有namesrv组件的,用的是zookeeper做分布式协调和服务发现,但是后期阿里数据根据实际业务需求进行改进和优化,自主研发了轻量级的namesrv,用于注册Client服务与Broker的请求路由工作,namesrv上不做任何消息的位置存储,频繁操作zookeeper的位置存储数据会影响整体集群性能.

RocketMQ由四部分组成:

  1. Name Server 可集群部署,节点之间无任何信息同步。提供轻量级的服务发现和路由
  2. Broker(消息中转角色,负责存储消息,转发消息) 部署相对复杂,Broker 分为Master 与Slave,一个Master 可以对应多个Slave,但是一个Slave 只能对应一个Master,Master 与Slave 的对应关系通过指定相同的BrokerName,不同的BrokerId来定 义,BrokerId为0 表示Master,非0 表示Slave。Master 也可以部署多个。
  3. Producer,生产者,拥有相同 Producer Group 的 Producer 组成一个集群, 与Name Server 集群中的其中一个节点(随机选择)建立长连接,定期从Name Server 取Topic 路由信息,并向提供Topic服务的Master 建立长连接,且定时向Master 发送心跳。Producer 完全无状态,可集群部署。
  4. Consumer,消费者,接收消息进行消费的实例,拥有相同 Consumer Group 的 Consumer 组成一个集群,与Name Server 集群中的其中一个节点(随机选择)建立长连接,定期从Name Server 取Topic 路由信息,并向提供Topic 服务的Master、Slave 建立长连接,且定时向Master、Slave 发送心跳。Consumer既可以从Master 订阅消息,也可以从Slave 订阅消息,订阅规则由Broker 配置决定。

  要使用rocketmq,至少需要启动两个进程,nameserver、broker,前者是各种topic注册中心,后者是真正的broker。

单机环境RocketMQ的安装(单master):

  下载 rocketmq的安装文件: http://rocketmq.apache.org

  解压 unzip rocketmq-all-4.4.0-bin-release.zip

启动 nameserver:

  进入rocketMQ解压目录下的bin文件夹,启动namesrv服务:nohup sh mqnamesrv &  tail -f ~/logs/rocketmqlogs/namesrv.log 查看启动日志

  停止 nameserver : sh bin/mqshutdown namesrv . 停止服务的时候需要注意,要先停止broker,其次停止nameserver。

  默认情况下,nameserver监听的是 9876 端口。查看日志内容出现如下信息即启动成功:

启动 broker:

  nohup sh bin/mqbroker -n ${namesrvIp}:9876 -c /conf/broker.conf &   其中[-c可以指定broker.conf配置文件]。默认情况下会加载conf/broker.conf

  停止broker :sh bin/mqshutdown broker

  • nohup sh mqbroker -n localhost:9876 &  启动broker,其中-n表示指定当前broker对应的命名服务地址: 默认情况下,broker监听的是10911端口 。
  • 输入 tail -f ~/logs/rocketmqlogs/broker.log 查看日志
  • 如果 tail -f ~/logs/rocketmqlogs/broker.log 提示找不到文件,则打开当前目录下的 nohup.out日志文件查看,出现如下日志表示启动失败,提示内存无法分配

内存不足的问题:

  这是因为bin 目录下启动 nameserv 与 broker 的 runbroker.sh 和 runserver.sh 文件中默认分配的内存太大,rocketmq比较耗内存,所以默认分配的内存比较大,而系统实际内存却太小导致启动失败,通常像虚拟机上安装的 CentOS 服务器内存可能是没有高的,只能调小。实际中应该根据服务器内存情况,配置一个合适的值 ,我这里设置成1g。

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn256m"
Xms:是指设定程序启动时占用内存大小。一般来讲,大点,程序会启动的快一点,但是也可能会导致机器暂时间变慢。
Xmx:是指设定程序运行期间最大可占用的内存大小。如果程序运行需要占用更多的内存,超出了这个设置值,就会抛出OutOfMemory异常。
xmn:年轻代的heap大小,一般设置为Xmx的3、4分之一

  修改后重新启动,输入 tail -f ~/logs/rocketmqlogs/broker.log 查看日志:

  在这里我们会发现,这个broker所监听的IP地址似乎不是我localhost,这个会导致后续我们会连接不上broker,我们需要修改配置文件 broker.conf 增加一行配置 brokerIP1=192.168.1.101,然后重新启动 nohup sh mqbroker -n localhost:9876 -c ../conf/broker.conf &,再查看日志:

broker.conf 文件 基本配置:

  • namesrvAddr  :nameserver地址
  • brokerClusterName = DefaultCluster:Cluster名称,如果集群机器数比较多,可以分成多个cluster,每个cluster提供给不同的业务场景使用
  • brokerName = broker-a:broker名称,如果配置主从模式,master和slave需要配置相同的名称来表明关系
  • brokerId = 0:在主从模式中,一个master broker可以有多个slave,0表示master,大于0表示不同slave的id
  • deleteWhen = 04:删除文件时间点,默认是凌晨4点
  • fileReservedTime = 48:文件保留时间,默认48小时
  • brokerRole = ASYNC_MASTER: SYNC_MASTER/ASYNC_MASTER/SLAVE ; 同步表示slave和master消息同步完成后再返回信息给客户端
  • flushDiskType = ASYNC_FLUSH:刷盘方式
  • autoCreateTopicEnable = true : topic不存在的情况下自动创建
  • brokerIP1         ip           ip设置外网ip,不需要连接外网的话,可以在参数前面加#注释掉
  • listenPort         port        port可自由设置,一般设置10911
  • brokerPermission      0x4|0x2       broker读写权限
  • defaultTopicQueueNums     8      默认topic读写队列数
  • clusterTopicEnable            true     是否启用集群topic
  • brokerTopicEnable            true     是否启用brokertopic
  • autoCreateSubscriptionGroup     TRUE      是否允许Broker 自动创建订阅组,建议线下开启,线上关闭
  • sendMessageThreadPoolNums     1        发送消息线程池数量
  • storePathConsumeQueue        $HOME/store/consumequeue      消费队列存储路径
  • storePathIndex                         $HOME/store/index         消息索引存储路径
  • storeCheckpoint            $HOME/store/checkpoint          checkpoint 文件存储路径
  • abortFile                  $HOME/store/abort             abort 文件存储路径

消息发送和接收基本应用:

1.添加 pom 依赖:

<dependency>
  <groupId>org.apache.rocketmq</groupId>
  <artifactId>rocketmq-client</artifactId>
  <version>4.5.2</version>
</dependency>

2.生产者 producer:

 

public class RocketMqProducer {
    public static void main(String[] args) throws MQClientException, InterruptedException {
        /*
         *生产者组,简单来说就是多个发送同一类消息的生产者称之为一个生产者组
         *rocketmq支持事务消息,在发送事务消息时,如果事务消息异常(producer挂了),broker端会来回查
         *事务的状态,这个时候会根据group名称来查找对应的producer来执行相应的回查逻辑。相当于实现了producer的高可用
         */
        DefaultMQProducer producer = new DefaultMQProducer("unique_producer_group_name");
     producer.setDefaultTopicQueueNums(3);//设置默认的queue数量
//指定namesrv服务地址,获取broker相关信息 producer.setNamesrvAddr("192.168.1.101:9876"); producer.start(); for (int i = 0; i < 10; i++) { try { //创建一个消息实例,指定指定topic、tag、消息内容 Message msg = new Message("testTopic", "testTag", ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */); //发送消息并且获取发送结果 SendResult sendResult = producer.send(msg); System.out.printf("%s%n", sendResult); } catch (Exception e) { e.printStackTrace(); Thread.sleep(1000); } } producer.shutdown(); } }

  SendResult中,有一个sendStatus状态,表示消息的发送状态。一共有四种状态:

  1. FLUSH_DISK_TIMEOUT : 表示没有在规定时间内完成刷盘(需要Broker 的刷盘策Ill创立设置成SYNC_FLUSH 才会报这个错误) 。
  2. FLUSH_SLAVE_TIMEOUT :表示在主备方式下,并且Broker 被设置成SYNC_MASTER 方式,没有在设定时间内完成主从同步。
  3. SLAVE_NOT_AVAILABLE : 这个状态产生的场景和FLUSH_SLAVE_TIMEOUT 类似, 表示在主备方式下,并且Broker 被设置成SYNC_MASTER ,但是没有找到被配置成Slave 的Broker 。
  4. SEND_OK :表示发送成功,发送成功的具体含义,比如消息是否已经被存储到磁盘?消息是否被同步到了Slave 上?消息在Slave 上是否被写入磁盘?需要结合所配置的刷盘策略、主从策略来定。这个状态还可以简单理解为,没有发生上面列出的三个问题状态就是SEND OK

3.消费者consumer:

public class RocketMqConsumer {
    public static void main(String[] args) throws MQClientException {
        //消费者的组名,这个和kafka是一样,这里需要注意的是,
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("unique_consumer_group_name");
        //指定NameServer地址,多个地址以 ; 隔开
        consumer.setNamesrvAddr("192.168.1.101:9876");
        //设置Consumer第一次启动是从队列头部开始消费还是队列尾部开始消费
        //如果非第一次启动,那么按照上次消费的位置继续消费
        consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
        //订阅PushTopic下Tag为push的消息
        consumer.subscribe("testTopic", "*"); //*表示不过滤,可以通过tag来过滤,比如:”tagA”
        /*
         * 注册消息监听回调这里有两种监听,MessageListenerConcurrently以及MessageListenerOrderly
         * 前者是普通监听,后者是顺序监听。这块在后续单独说明
         */
        consumer.registerMessageListener(new MessageListenerConcurrently() {
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt>
                                                                    msgs,
                                                            ConsumeConcurrentlyContext context) {
                System.out.printf("%s Receive New Messages: %s %n",
                        Thread.currentThread().getName(), msgs);
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;//返回消息消费状态
            }
        });
        consumer.start();
        System.out.printf("Consumer Started.%n");

    }

  Rocketmq中支持广播消息,就意味着同一个group中的消费者可以消费同一个消息。

  consumerGroup:位于同一个consumerGroup中的consumer实例和producerGroup中的各个produer实例承担的角色类似;同一个group中可以配置多个consumer,可以提高消费端的并发消费能力以及容灾,和kafka一样,多个consumer会对消息做负载均衡,意味着同一个topic下的不同messageQueue会分发给同一个group中的不同consumer。同时,如果我们希望消息能够达到广播的目的,那么只需要把consumer加入到不同的group就行。

  RocketMQ提供了两种消息消费模型,一种是pull主动拉去,另一种是push,被动接收。但实际上RocketMQ都是pull模式,只是push在pull模式上做了一层封装,也就是pull到消息以后触发业务消费者注册到这里的callback. RocketMQ是基于长轮训来实现消息的pull。

  nameServer的地址:name server地址,用于获取broker、topic信息。

SpringBoot整合RocketMq:

1.pom.xml:

<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.rocketmq</groupId>
            <artifactId>rocketmq-client</artifactId>
            <version>4.5.2</version>
</dependency>

2.application.yml :

rocketmq:
  # 生产者配置
  producer:
    isOnOff: on
    # 发送同一类消息的设置为同一个group,保证唯一
    groupName: unique_producer_group_name
    # 服务地址
    namesrvAddr: 192.168.1.101:9876
    # 消息最大长度 默认1024*4(4M)
    maxMessageSize: 4096
    # 发送消息超时时间,默认3000
    sendMsgTimeout: 3000
    # 发送消息失败重试次数,默认2
    retryTimesWhenSendFailed: 2
  # 消费者配置
  consumer:
    isOnOff: on
    # 官方建议:确保同一组中的每个消费者订阅相同的主题。
    groupName: unique_consumer_group_name
    # 服务地址
    namesrvAddr: 192.168.1.101:9876
    # 接收该 Topic 下所有 Tag
    topics: testTopic~*;
    consumeThreadMin: 20
    consumeThreadMax: 64
    # 设置一次消费消息的条数,默认为1条
    consumeMessageBatchMaxSize: 1

# 配置 Group  Topic  Tag
plat:
  plat-group: unique_group_name
  plat-topic: testTopic
  plat-tag: testTag

3. ProducerConfig 生产者配置:

@Configuration
public class ProducerConfig {
    private static final Logger LOG = LoggerFactory.getLogger(ProducerConfig.class) ;
    @Value("${rocketmq.producer.groupName}")
    private String groupName;
    @Value("${rocketmq.producer.namesrvAddr}")
    private String namesrvAddr;
    @Value("${rocketmq.producer.maxMessageSize}")
    private Integer maxMessageSize ;
    @Value("${rocketmq.producer.sendMsgTimeout}")
    private Integer sendMsgTimeout;
    @Value("${rocketmq.producer.retryTimesWhenSendFailed}")
    private Integer retryTimesWhenSendFailed;
    @Bean
    public DefaultMQProducer defaultMQProducer() {
        DefaultMQProducer producer;
        producer = new DefaultMQProducer(this.groupName);
        producer.setNamesrvAddr(this.namesrvAddr);
        //如果需要同一个jvm中不同的producer往不同的mq集群发送消息,需要设置不同的instanceName
        if(this.maxMessageSize!=null){
            producer.setMaxMessageSize(this.maxMessageSize);
        }
        if(this.sendMsgTimeout!=null){
            producer.setSendMsgTimeout(this.sendMsgTimeout);
        }
        //如果发送消息失败,设置重试次数,默认为2次
        if(this.retryTimesWhenSendFailed!=null){
            producer.setRetryTimesWhenSendFailed(this.retryTimesWhenSendFailed);
        }
        try {
            producer.start();
        } catch (MQClientException e) {
            e.printStackTrace();
        }
        return producer;
    }
}

4.ConsumerConfig 消费者配置:

@Configuration
public class ConsumerConfig {
    private static final Logger LOG = LoggerFactory.getLogger(ConsumerConfig.class) ;
    @Value("${rocketmq.consumer.namesrvAddr}")
    private String namesrvAddr;
    @Value("${rocketmq.consumer.groupName}")
    private String groupName;
    @Value("${rocketmq.consumer.consumeThreadMin}")
    private int consumeThreadMin;
    @Value("${rocketmq.consumer.consumeThreadMax}")
    private int consumeThreadMax;
    @Value("${rocketmq.consumer.topics}")
    private String topics;
    @Value("${rocketmq.consumer.consumeMessageBatchMaxSize}")
    private int consumeMessageBatchMaxSize;
    @Resource
    private RocketMsgListener msgListener;
    @Bean
    public DefaultMQPushConsumer defaultMQPushConsumer(){
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(groupName);
        consumer.setNamesrvAddr(namesrvAddr);
        consumer.setConsumeThreadMin(consumeThreadMin);
        consumer.setConsumeThreadMax(consumeThreadMax);
        consumer.registerMessageListener(msgListener);
        consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET);
        consumer.setConsumeMessageBatchMaxSize(consumeMessageBatchMaxSize);
        try {
            String[] topicTagsArr = topics.split(";");
            for (String topicTags : topicTagsArr) {
                String[] topicTag = topicTags.split("~");
                consumer.subscribe(topicTag[0],topicTag[1]);
            }
            consumer.start();
        }catch (MQClientException e){
            e.printStackTrace();
        }
        return consumer;
    }
}

5.RocketMsgListener 监听器:

@Component
public class RocketMsgListener implements MessageListenerConcurrently {
    private static final Logger LOG = LoggerFactory.getLogger(RocketMsgListener.class) ;
    @Resource
    private ParamConfigService paramConfigService ;

    @Override
    public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> list, ConsumeConcurrentlyContext context) {
        if (CollectionUtils.isEmpty(list)){
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        }
        MessageExt messageExt = list.get(0);
        LOG.info("接受到的消息为:"+new String(messageExt.getBody()));
        int reConsume = messageExt.getReconsumeTimes();
        // 消息已经重试了3次,如果不需要再次消费,则返回成功
        if(reConsume ==3){
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        }
        if(messageExt.getTopic().equals(paramConfigService.platTopic)){
            String tags = messageExt.getTags() ;
            switch (tags){
                case "testTag":
                    LOG.info("匹配到testTag"+tags);
                    break ;
                default:
                    LOG.info("未匹配到Tag == >>"+tags);
                    break;
            }
        }
        // 消息消费成功
        return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
    }
}

6.参数配置类:

@Service
public class ParamConfigService {

    @Value("${plat.plat-group}")
    public String platGroup ;
    @Value("${plat.plat-topic}")
    public String platTopic ;
    @Value("${plat.plat-tag}")
    public String accountTag ;
   //省略 get  set
}

7.测试类:

@RestController
public class TestController {

    @Autowired
    private DefaultMQProducer defaultMQProducer;

    @Autowired
    private ParamConfigService paramConfigService;

    @RequestMapping(value = "/testStringQueue.json", method = {RequestMethod.GET})
    public SendResult testStringQueue() {
        // 可以不使用Config中的Group
        defaultMQProducer.setProducerGroup(paramConfigService.platGroup);
        SendResult sendResult = null;
        String msgInfo = "rocketmq  message 1";
        try {
            Message sendMsg = new Message(paramConfigService.platTopic,
                    paramConfigService.accountTag, msgInfo.getBytes());
            sendResult = defaultMQProducer.send(sendMsg);
        } catch (Exception e) {
            e.printStackTrace();
        }
        return sendResult;
    }
}

  启动项目访问接口就可以看到效果。

posted @ 2019-09-10 17:34  吴振照  阅读(6702)  评论(0编辑  收藏  举报