Kafka基础知识（二）

Kafka进阶知识

消息概念

消息指的是通信的基本单位。由消息生产者（producer）发布关于某个话题（topic）的消息。简单来说：消息以一种物理方式被发送给了作为代理（broker）的服务器（可能是另外一台机器）。若干的消息使用者（consumer）订阅（subscribe）某个话题，然后生产者所发布的每条消息都会被发送给所有的使用者。

Kafka的生产者、使用者和代理都可以运行在作为一个逻辑单位的、进行相互协作的集群中不同的机器上。生产者和代理没有什么关系，但是使用者都是属于一个使用者小组的。准确地说，每条消息都只会发送给每个使用者小组中的一个进程。因此，使用者小组使得许多进程或多台机器在逻辑上作为一个单个的使用者出现

Kafka的broker

因为Kafka生产了消息后,Kafka不会直接把消息传递给消费者，而是要先在broker中进行存储，持久化是保存在kafka的日志文件中的。消息在Broker中通过Log追加（保存在文件的最后面，是有序的）。为了减少磁盘写入的次数，broker会将消息暂时存在buffer中，当消息的个数（或尺寸）达到一定阀值时，再flush到磁盘，以此来减少磁盘IO调用的次数。

需要注意的是：

Broker没有副本一说，但是消息本身是有副本的，因此不会丢失。Broker在宕机后，再读取消息的日志就可以了。
Broker不保存订阅者的状态，由订阅者自己保存。
无状态导致消息的删除成为难题（可能删除的消息正在被订阅），kafka采用基于时间的SLA(服务水平保证)，消息保存一定时间（通常为7天）后会被删除。这个地方的无状态感觉指的是消息本身，对于消费者而言，zookeeper会帮助记录哪条信息已经消费了，哪条消息没有消费。
消息订阅者可以rewind back到任意位置重新进行消费，当订阅者故障时，可以选择最小的offset(id，即偏移量)进行重新读取消费消息。

Message组成

Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。

1.消息是无状态的，消息的消费先后顺序是没有关系的

2.每一个partition只能由一个consumer来进行消费，但是一个consumer是可以消费多个partition，是一对多的关系。

假设有2个分区的主题“my_topic”，它将由2个目录构成（my_topic_0和my_topic_1），用于存放该主题消息的数据文件。日志文件的格式是一个“日志条目”序列。每条日志条目都由一个存储消息长度的4字节整型N和紧跟着的N字节消息组成。其中每条消息都有一个64位整型的唯一标识offset，offset（偏移量）代表了topic分区中所有消息流中该消息的起始字节位置。每条消息在磁盘上的格式如下：每个日志文件用第一条消息的offset来命名的，因此，创建的第一个文件将是00000000000.kafka，并且每个附加文件都将是上一个文件S字节的整数命名，其中S是配置中设置的最大日志文件大小。

消息是二进制格式并作为一个标准接口，所以消息可以在producer，broker，client之间传输，无需再copy或转换。
格式如下:

On-disk format of a message
message length : 4 bytes (value: 1+4+n) 
"magic" value  : 1 byte
crc            : 4 bytes
payload        : n bytes

一个叫做“my_topic”且有两个分区的的topic,它的日志有两个文件夹组成，my_topic_0和my_topic_1,每个文件夹里放着具体的数据文件，每个数据文件都是一系列的日志实体，每个日志实体有一个4个字节的整数N标注消息的长度，后边跟着N个字节的消息。每个消息都可以由一个64位的整数offset标注，offset标注了这条消息在发送到这个分区的消息流中的起始位置。每个日志文件的名称都是这个文件第一条日志的offset.所以第一个日志文件的名字就是00000000000.kafka.所以每相邻的两个文件名字的差就是一个数字S,S差不多就是配置文件中指定的日志文件的最大容量。
消息的格式都由一个统一的接口维护，所以消息可以在producer,broker和consumer之间无缝的传递