RocketMQ学习笔记(7)----RocketMQ的整体架构

1. RocketMQ主要的9个模块,如图:

  

2. 模块介绍

  1. rocketmq-common:通用的常量枚举,基类方法或者数据结构,按描述的目标来分包,通俗易懂。报名有admin,consumer,filter,hook,message等。

  2. rocketmq-remoting:用Netty写的客户端和服务端,fastjson做的序列化,自定义二进制协议

  3. rocketmq-sevutil: 只用一个ServerUtil类,类注解是,只提供Server程序依赖,目的是为了拆解客户端依赖,尽可能减少客户端的依赖

  4. rocketmq-store: 存储服务,消息存储,索引存储,commitLog存储

  5. rocketmq-client: 客户端,包含producer端和consumer端,消息的生产发送和接收消费的过程。

  6. rocketmq-filtersrv: 消息过滤器server

  7. rocketmq-broker: 对consumer和producer来说是服务端,接收producer发来的消息并存储,同时consumer来这里拉取消息。

  8. rocketmq-tools:命令行工具。

  9. rocketmq-namesrv:NameServer,类似zookeeper注册中心,这里保存着消息的TopicName,队列等运行时的meta信息。一般系统分dataNode和nameNode,这里是nameNode。

3. 结构层次说明

  模块依赖:最底层为基础实现,最上层为对外提供的服务模块

  

4. NameServer与Zookeeper

  在rocketmq的早版本(2.x)的时候,是没有namesrv组件的,用的是zookeeper做分布式协调和服务发现,但是后期阿里数据根据实际业务需求进行改进和优化,自组研发了轻量级的namesrv,用于注册Client服务与Broker的请求路由工作,namesrv上不做任何消息的位置存储(频繁操作zookeeper的位置存储数据会影响整体集群性能)

  rocketmq-namesrv模块介绍:

  rocketmq-namesrv扮演着nameNode角色,记录运行时消息相关的meta信息以及broker的filtersrv运行时信息,可以部署集群。

  我们可以吧rocketmq-namesrv理解成一个轻量级的zookeeper,他比zookeeper性能更好,并且比zookeeper的可靠性更强。

  rocketmq-namesrv主要是节点之间相互进行心跳检测,数据通信,集群高可靠性,一致性,容错性等方面的核心模块。

  rocketmq-namesrv的底层通信机制与neetty进行联系,上层通信与各个模块产生强一致性的对应关系,当broker,producer,consumer都运行后,namesrv一共有八类线程,如:守护线程,定时任务线程,netty的boss线程,NettyEventExecuter线程,DestroyJavaJVM线程,Work线程,Handler线程,RemotingExecutorThread线程。

5. 底层通信

  1. ServerHouseKeepingService:守护线程,本质是ChannelEventListener,监听broker的channel变化来更新本地的RouteInfo。

  2. NSScheduledThread1: 定时任务线程,定时跑2个任务,第一个是,每隔十分钟扫描出不活动的broker,然后冲routeInfo中删除,第二个是,每隔十分钟打印configTable的消息。

  3. NettyBossSelector: Netty的boss线程(Accept线程),这里只有一个线程

  4.NettyEventExecuter:一个单独的线程,监听NettyChannel状态变化和通知ChannelEventListener要响应的动作。

  5. DestroyJavaVM:Java虚拟机析构钩子,一般是当虚拟机关闭时用来清理或者释放资源的。

  6. NettyServerSelector_x_x: Netty的Work线程(io)线程,这里可能有多个线程

  7. NettyServerWorkerThread_x:执行ChannelHandler方法的线程,ChannelHandler运行在线程上,这里可能有多个线程。

  8. RemotingExecutorThread_x: 服务端逻辑线程,这里可能有多个线程。rocketmq-namesrv扮演者nameNode角色,记录运行时meta信息已经broker和filtersrv运行时信息,可以部署集群。

6. 数据存储

  rocketmq-broker模块介绍:

  这个是数据存储的核心,也就是真正的MQ服务器,我们所谓的消息存储,接收,拉去,推送这些操作都是在broker上进行的。

  rocketmq-filtersrv:

  在rocketmq中,使用独立的一个模块去对数据进行过滤,实现了真正意义上的高内聚,低耦合的设计思想。

  我们在使用rocketmq-filtersrv模块的时候,也需要启动filter服务。

原文 RocketMQ学习笔记(7)----RocketMQ的整体架构

posted @ 2019-05-15 09:35  xiaoshen666  阅读(468)  评论(0编辑  收藏  举报