我的 Kafka 旅程 - 概念 · 特点 · 组成 · 模式 · 应用

Apache kafka,类消息队列系统,是一种高吞吐量的分布式发布订阅消息系统,即使是非常普通的硬件,也可以支持每秒数百万的消息。通过I/O的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。

  • 可靠性高
  • 吞吐量高
  • 伸缩性强
  • 高并发

作者:[Sol·wang] - 博客园,原文出处:https://www.cnblogs.com/Sol-wang/p/14792955.html

一、应用场景

缓存/消峰,解耦,异步通信

缓存/消峰
解耦
异步通信

二、模式

  • 点对点模式:消费者收到消息后,发送确认,MQ删除信息
  • 发布订阅模式:消费者收到消息后不删,供其它消费者再用,消息通过其它机制再删除

三、关键术语

术语 语义
Producer 客户端,生产者,消息提供者,负责发出消息到服务端Broker
Broker 服务端,负责处理生产者的消息,分发到Topic
Topic 服务端,消息的主题,消息的管道,消息的区分
Partition 服务端,Topic消息的存储块,多个分区(副本)间的消息同步,确保消息不会丢失
Consumer 客户端,消费者,读取(消费)服务端Partition的消息

四、基础架构

4.1 单机模式

一个生产者,多个消费者。

4.2 集群模式

一个生产者,多个Borker的集群模式,分区交叉同步副本,一个消费者组;
分区并行消费,对应多个消费者,形成消费组;当一个Server宕机后,不影响数据的丢失。

posted @ 2022-09-14 02:28  Sol·wang  阅读(338)  评论(0编辑  收藏  举报