Kafka入门

Kafka

定义

Kafka是一个分布式的流处理平台，它具有以下特性：

• 磁盘保存数据
• 伸缩性

术语

生产者

生产者是消息的创造者，可以指定 Topic,Partion,Key,Value，并将消息发送到Kafka集群中的Broker。

消费者

消费者负责从Kafka集群中读取消息。

需要设置偏移量
一个分区里面，每个消息的偏移量都是唯一的
消费者只能顺序读取

分区(Partion)

Kafka中的每个Topic都可以保存到不同的Partion。

Kafka信息分区规则：

• 生产者指定分区
• 分区器（一个算法）通过消息的键（一个标记）来安排数据的存储空间

Broker

borker里面包含主题，分区。

borker为传来的消息根据分区设置偏移量，将其存储在磁盘上，borker也为消费者提供服务，提供响应。

多个Borker集群就是kafka集群，这样就提供了消息的安全性。在这个集群中可能还会有一个集群负责控制器的角色。

话题Topic

用于指定信息存储的位置，一个话题可以有多个分区，一个分区可以有多个副本。

Kafka如何保证数据不丢失

• 不丢失

1. 生产者的ack应答机制，设为-1，当所有irs集合里的节点备份完成后返回

2. kafka，每个分区至少有一个isr节点存活，保证数据安全

3. 消费者，关闭自动提交，使用手动提交