Kafka - 分布式消息队列
Kafka使用
Kafka简介
概念
- 基于发布/订阅的分布式消息系统
- 由Linkedin开发，用Scala语言编写
特性
- 消息持久化：采用时间复杂度O(1)的磁盘存储结构，即使TB级以上数据也能保证常数时间的访问速度
- 高吞吐：即使在廉价的商用机器上，也能达到单机每秒10万条消息的传输
- 高容错：多分区多副本
- 易扩展：新增机器，集群无需停机，自动感知
- 同时支持离线、实时数据处理
Kafka原理
基本概念
- Broker（代理）
- Kafka的一个实例或节点，一个或多个Broker组成一个Kafka集群
- Topic（主题）
- Topic是Kafka中同一类数据的集合，相当于数据库中的表
- Producer将同一类数据写入同一个Topic，Consumer从同一个Topic中读取同类数据
- Topic是逻辑概念，用户只需指定Topic就可以生产或消费数据，不必关心数据存于何处
- Partition（分区）
- 分区是一个有序的、不可修改的消息队列，分区内消息有序存储
- 一个Topic可分为多个分区，相当于把一个数据集分成多份，分别存储不同的分区中
- Partition是物理概念，每个分区对应一个文件夹，其中存储分区的数据和索引文件
- Replication（副本）
- 一个分区可以设置多个副本，副本存储在不同的Broker中
- Producer（消息生产者）
- 向Broker发布消息的客户端
- Consumer（消息消费者）
- 从Broker消费消息的客户端
- Consumer Group（CG，消费者组）
- 每个Consumer都隶属于一个特定的CG
- 一条消息可以发送给多个不同的CG，但一个CG中只能有一个Consumer读取该消息
- Zookeeper
- Kafka将元数据保存在Zookeeper中
- 负责Kafka集群管理，包括配置管理、动态扩展、Broker负载均衡、Leader选举，以及Consumer Group变化时的Rebalance等
工作机制
- 消息在Broker中按Topic（主题）进行分类，相当于为每个消息打上标签
- 一个Topic可划分为多个Partition（分区）
- 每个Partition可以有多个Replication（副本）
- 消息存储在Broker的某一Topic的某一Partition中，同时存在多个副本
- Partition是一个FIFO队列，写入消息采用在队列尾部追加的方式，消费消息采用在队列头部顺序读取的方式
- 一个Topic可分为多个Partition，仅保证同一分区内消息有序存储，不保证Topic整体（多个分区之间）有序
Kafka使用
— EOF —
