简单理解kafka---核心概念

    1，topic和日志

    一个topic是对一组消息的归纳。对每个topic，kafka对它的日志进行了分区，如图：

 

    

    每个分区都由一系列有序的，不可变的消息组成，这些消息被连续的追加到分区中。分区中的每个消息都有一个连续的叫做offset的序列号，用来在分区中唯一的表示这个消息。

    在一个可分配的时间段内，Kafka集群保留所有发布的消息，不管这些消息有没有被消费。比如，如果消息的保存策略被设置为2天，那么在一个消息被发布的两天时间内，它都是可以被消费的。之后它将被丢弃以释放空间。Kafka的性能是和数据量无关的常量级，所以保留大数据量并不是问题。

    实际上每个consumer唯一需要维护的数据是消息在日志中的位置，也就是“offset”。这个offset由Consumer来维护：一般情况下随着Consumer不断地读取消息，这个offset不断增加，但其实consumer可以以任意的顺序读取消息，比如它可以将offset设置成为一个旧的值来重读之前的消息。

    以上特点的结合，使得Kafka Consumer非常轻量级：他们可以在不对集群和其他Consumer造成影响的情况下读取消息。我们可以使用命令行“tail”来读取消息而不会对其他正在消费消息的Consumer造成影响。

    将日志分区可以达到一下目的：首先使得每个日志的数量不会太大，可以在单个服务上保存。另外每个分区可以单独发布和消费，为并发操作topic提供了一种可能。

    2，分布式

    每个分区在kafka集群的若干服务中都有副本，这样这些持有副本的服务可以共同处理数据和请求，副本数量是可以配置的。副本使kafka具备了容错能力。

    每个分区都由一个服务器作为“leader”，零或若干服务器作为“follower”。leader负责处理消息的读和写，follower则去复制leader。如果leader宕机了，follower中的一台则会自动成为leader。集群中的每个服务都会同时扮演两个角色：作为它所持有的一部分分区的leader，同时作为其他分区的follower，这样集群就会据有较好的负载均衡。

    3，Producer

    producer将消息发布到它指定的topic中，并负责决定发布到哪个分区。通常简单地由负载均衡随机选择分区，但也可以通过特定的分区函数选择分区。一般来说，使用更多的是第二种。

    4，Consumer

    发布消息通常有两种模式：queue队列模式和publish-subscribe发布订阅模式。在queue模式中，Consumer可以同时从服务端读取消息，每个消息只被其中一个Consumer读到；在publish-subscribe模式中，消息被广播到所有的Consumer中。Consumer可以加入一个Consumer Group，共同竞争一个topic，topic中的消息将被分发到Consumer Group中的一个成员中。

    同一个Group中的Consumer可以在不同的程序中，也可以在不同的机器上。

    如果所有的Consumer都在一个Consumer Group中，这就成为了传统的queue模式，在各Consumer中实现负载均衡。

    如果所有的Consumer都不在同一个Group中，这就成了publish-subscribe模式，所有的消息都被分发到所有的Consumer中。

    更常见的是：每个topic都有若干数量的Consumer Group，每个Group都是一个逻辑上的订阅者，为了容错和更好的稳定性，每个Consumer Group由若干Consumer组成。这其实就是一个publish-subscribe模式，只不过订阅者是个Consumer Group而不是单个Consumer。

    Consumer Group：

 

相比传统的消息系统，Kafka可以很好的保证有序性。

    传统的队列在服务器上保存有序的消息，如果多个Consumer同时从这个服务器消费消息服务器就会以消息存储的顺序向Consumer分发消息。虽然服务器按顺序发布消息，但是消息是被异步地分发到各Consumer上的，所以当消息到达时可能已经失去了原来的顺序，这意味着并发消费将导致顺序错乱。为了避免故障，这样的消息系统通常使用“专用Consumer”的概念，也就是只允许一个消费者消费消息，这就失去了并发性。

    这方面kafka通过分区的概念，kafka可以在多个Consumer进程并发的情况下提供较好的有序性和负载均衡。将每个分区只分发给一个Consumer Group，这样一个分区就只被这个Group的一个Consumer消费，就可以顺序的消费这个分区的消息。因为有多个分区，依然可以在多个Consumer Group之间进行负载均衡。注意Consumer Group的数量不能多于分区的数量，也就是有多少分区就允许多少并发消费。

    Kafka只能保证一个分区之内消息的有序性，在不同分区之间不能保证。如果需要topic中所有消息的有序性，那就只有让这个topic只有一个分区，当然也只有一个Consumer Group消费它。

    5，保障

    在一个高层次的kafka中提供了以下保障：

• 由Producer发送到一个特定的Topic分区的消息按他们被添加时的顺序来发送。也就是说，如果由相同的Producer来发送两个消息M1，M2，若M1首先被发送，那么在日志中M1将比M2具有较低的offset。
• Consumer实例以日志中存储的顺序来查看消息。
• 对于复制因子N的Topic，将能承受最多N-1服务器的故障，而不会丢失提交到日志的任何消息。

<<分布式系统常用技术及案例分析>>