kafka

一、简介

kafka是一个分布式流处理平台。有3个关键能力：

1、订阅发布记录流：类似于消息队列或企业消息传递系统；

2、以容错的方式存储记录流；

3、实时记录流；

二、应用

作为消息系统、存储系统、流处理器。可以建立流数据管道，可靠性的债系统或应用之间获取数据。建立流式应用传输和响应数据。

三、kafka作为消息系统

有3个基本组件：Producer、Broker、Consumer

Producer：发布消息的客户端

Broker：一个从生产者接受并存储消息的客户端

Consumer：消费者从Broker中读取消息

大型系统中，会需要和很多子系统做交互，需要消息传递，在诸如此类系统中，你会找到源系统（消息发送方）和目的系统（消息接收方）。为了在这样的消息系统中传输数据，你需要有合适的数据管道。

这种数据的交互看起来就很混乱，如果我们使用消息传递系统，那么系统就会变得更加简单和整洁。

Kafka运行在一个或者多个数据中心的服务器上作为集群运行

kafka 集群存储消息记录的目录被称为topics

每一条消息记录包含三个要素：键（key）、值（value）、时间戳（Timestamp）

四、核心API

kafka有4个核心API：Producer API、Consumer API、Streams API、Connector API

Producer API：它允许应用程序向一个或多个 topics 上发送消息记录；

Consumer API：允许应用程序订阅一个或多个 topics 并处理为其生成的记录流；

Streams API：它允许应用程序作为流处理器，从一个或多个主题中消费输入流并为其生成输出流，有效的将输入流转换为输出流；

Connector API：它允许构建和运行将 Kafka 主题连接到现有应用程序或数据系统的可用生产者和消费者。例如，关系数据库的连接器可能会捕获对表的所有更改。

五、基本概念

5.1、topic

Topic 被称为主题，在 kafka 中，使用一个类别属性来划分消息的所属类，划分消息的这个类称为 topic。topic 相当于消息的分配标签，是一个逻辑概念。主题好比是数据库的表，或者文件系统中的文件夹。

5.2、partition

partition 译为分区，topic 中的消息被分割为一个或多个的 partition，它是一个物理概念，对应到系统上的就是一个或若干个目录，一个分区就是一个提交日志。消息以追加的形式写入分区，先后以顺序的方式读取。

注意：由于一个主题包含无数个分区，因此无法保证在整个 topic 中有序，但是单个 Partition 分区可以保证有序。消息被迫加写入每个分区的尾部。Kafka 通过分区来实现数据冗余和伸缩性。

分区可以分布在不同的服务器上，也就是说，一个主题可以跨越多个服务器，以此来提供比单个服务器更强大的性能。

5.3、segment

Segment 被译为段，将 Partition 进一步细分为若干个 segment，每个 segment 文件的大小相等。

5.4、broker

Kafka 集群包含一个或多个服务器，每个 Kafka 中服务器被称为 broker。broker 接收来自生产者的消息，为消息设置偏移量，并提交消息到磁盘保存。broker 为消费者提供服务，对读取分区的请求作出响应，返回已经提交到磁盘上的消息。

broker 是集群的组成部分，每个集群中都会有一个 broker 同时充当了集群控制器(Leader)的角色，它是由集群中的活跃成员选举出来的。每个集群中的成员都有可能充当 Leader，Leader 负责管理工作，包括将分区分配给 broker 和监控 broker。集群中，一个分区从属于一个 Leader，但是一个分区可以分配给多个 broker（非Leader），这时候会发生分区复制。这种复制的机制为分区提供了消息冗余，如果一个 broker 失效，那么其他活跃用户会重新选举一个 Leader 接管。