kafka基础原理

1、什么是kafka

Kafka 是一个分布式的基于发布/订阅模式的消息队列

消息队列的两种模式：

点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）。特点，一个消息只能被一个消费者消费

 

 

 

发布/订阅模式（一对多，消费者消费数据之后不会清除消息）。特点，一个消息可以被多个订阅的消费者消费

 

 

 

2、消息队列的优点：

解耦
允许独立扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。
可恢复性
系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。
灵活性 & 峰值处理能力
在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。如果为以能处理这类峰值访问为标准来投入资源随时待命是很浪费的，使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷请求而崩溃。
异步通信
很多时候用户不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入队列但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。例：晨配项目集收创建订单后推给大网，同时这个单还需要判断是供应商派送还是顺丰派送。派送的判断需调大网接口，大网处理这个新建的订单需要一定的时间，所以我们在创建订单后，通过mq加个了延迟

3、Kafka介绍

 

 

Producer：Producer即生产者，消息的产生者，是消息的入口。

Consumer：消费者，即消息的消费方，是消息的出口。

Consumer Group：我们可以将多个消费组组成一个消费者组，在kafka的设计中同一个分区的数据只能被消费者组中的某一个消费者消费。同一个消费者组的消费者可以消费同一个topic的不同分区的数据，这也是为了提高kafka的吞吐量！

kafka cluster（kafka集群）：
　　　　Broker：Broker是kafka实例，每个服务器上有一个或多个kafka的实例，我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号，如图中的broker-0、broker-1等……
　　　　Topic：消息的主题，可以理解为消息的分类，kafka的数据就保存在topic。在每个broker上都可以创建多个topic。
　　　　Partition：Topic的分区，每个topic可以有多个分区，分区的作用是做负载，提高kafka的吞吐量。同一个topic在不同的分区的数据是不重复的，partition的表现形式就是一个一个的文件夹！
　　　　Replication:每一个分区都有多个副本，副本的作用是做备胎。当主分区（Leader）故障的时候会选择一个备胎（Follower）上位，成为Leader。在kafka中默认副本的最大数量是10个，且副本的数量不能大于Broker的数量，follower和leader绝对是在不同的机器，同一机器对同一个分区也只可能存放一个副本（包括自己）。
　　　　Message：每一条发送的消息主体。

Zookeeper：Kafka通过Zookeeper管理Kafka集群配置：选举Kafka 的leader，以及在Consumer Group发生变化时进行rebalance，因为consumer消费kafka topic的partition的offsite信息是存在Zookeeper的。失败的消息会记录在Zookeeper，重启后Consumer先消费Zookeeper里失败的消息，再从上次offset开始消费。

消息存储过程：

 

 

 

消息写入leader后，follower是主动的去leader进行同步的！producer采用push模式将数据发布到broker，每条消息追加到分区中，顺序写入磁盘，所以保证同一分区内的数据是有序的

消息消费过程：

 

 

 

消费者在拉取消息的时候也是找leader去拉取。同一个消费组者的消费者可以消费同一topic下不同分区的数据，但是不会组内多个消费者消费同一分区的数据。

思考：1、怎么配置partition数量和consumergroup的消费者数量，能达到消费效率最大化？

           2、多个consumergroup消费同一个topic，offset 的值有影响吗:

           3、批量发送消息怎么保证消息的顺序？