摘要： 消息的清理 消息被消费过后会被清理掉吗？不会的。 消息是被顺序存储在 commitlog 文件的，且消息大小不定长，所以消息的清理是不可能以消息为单位进行清理的，而是以 commitlog 文件为单位进行清理的。否则会急剧下降清理效率，并实现逻辑复杂。 commitlog 文件存在一个过期时间，默认 阅读全文

摘要： 一、消息堆积与消费延迟概念 消息处理流程中，如果 Consumer 的消费速度跟不上 Producer 的发送速度，MQ 中未处理的消息会越来越多（进的多出的少），这部分消息就被称为堆积消息。消息出现堆积进而会造成消息的消费延迟。 以下场景需要重点关注消息堆积和消费延迟问题： 业务系统上下游能力不匹 阅读全文

摘要： 一、消费幂等 当出现消费者对某条消息重复消费的情况时，重复消费的结果与消费一次的结果是相同的，并且多次消费并未对业务系统产生任何负面影响，那么这个消费过程就是消费幂等的。 幂等：若某操作执行多次与执行一次对系统产生的影响是相同的，则称该操作是幂等的。 在互联网应用中，尤其在网络不稳定的情况下，消息很 阅读全文

摘要： 一、offset 管理 这里的 offset 指的是 Consumer 的消费进度 offset。 消费进度 offset 是用来记录每个 Queue 的不同消费组的消费进度的。根据消费进度记录器的不同，可以分为两种模式：本地模式和远程模式。 二、offset 本地管理模式 当消费模式为广播消费时， 阅读全文

摘要： 一、订阅关系的一致性 订阅关系的一致性指的是，同一个消费者组（Group ID 相同）下所有 Consumer 实例所订阅的 Topic 与 Tag 及对消息的处理逻辑必须完全一致。否则，消息消费的逻辑就会混乱，甚至导致消息丢失。 二、正确订阅关系 多个消费者组订阅了多个 Topic，并且每个消费者 阅读全文

摘要： 一、消息的消费 消费者从 Broker 中获取消息的方式有两种：pull 拉取方式和 push 推动方式。 消费者组对于消息消费的模式又分为两种：集群消费 Clustering 和广播消费 Broadcasting。 二、获取消费类型 1、拉取式消费 Consumer 主动从 Broker 中拉取消 阅读全文

摘要： 一、indexFile 除了通过通常的指定 Topic 进行消息消费外，RocketMQ 还提供了根据 key 进行消息查询的功能。该查询是通过 store 目录中的 index 子目录中的 indexFile 进行索引实现的快速查询。当然，这个 indexFile 中的索引数据是在包含了 key 阅读全文

摘要： 一、消息的存储 RocketMQ 中的消息存储在本地文件系统中，这些相关文件默认在当前用户主目录下的 store 目录中。 abort：该文件在 Broker 启动后会自动创建，正常关闭 Broker，该文件会自动消失。若在没有启动 Broker 的情况下，发现这个文件是存在的，则说明之前 Brok 阅读全文

摘要： 一、消息的生产 Producer 可以将消息写入到某 Broker 中的某 Queue 中，其经历了如下过程： Producer 发送消息之前，会先向 NameServer 发出获取消息 Topic 的路由信息的请求 NameServer 返回该 Topic 的路由表及 Broker 列表 Prod 阅读全文

摘要： 一、搭建 RocketMQ 集群 1、集群架构 这里要搭建一个双主双从异步复制的 Broker 集群。为了方便，这里使用了两台主机来完成集群的搭建。 这两台主机的功能与 broker 角色分配如下表。 2、克隆生成 rocketmqOS1 克隆 rocketmqOS 主机，并修改配置。指定主机名为 阅读全文