二、kafka 中央控制器、主题、分区、副本
集群和中央控制器
一个独立的Kafka服务器被称为broker。broker用来接收来自生产者的消息，为消息设置偏移量，并把消息保存到磁盘。换句话说，多个kafka实例组成kafka集群，每个实例(server)被称为broker。
broker中央控制器：Kafka集群中多个broker，在Kafka启动时所有的broker会在zk里面注册，只有一个会被选举为broker中央控制器（controller也就是broker的 leader）。
中央控制器产生：
中央控制的主要工作为：
-
管理整个集群中的分区
-
监控副本的状态
这些工作如：
-
leader副本故障，由中央控制器负责为该partition重新选举新的leader 副本
-
当检测到同步列表发生变化，有中央控制器通知集群中所有broker更新其元数据缓存信息
-
当增加某个topic分区的时候也会由中央控制器管理分区的重新分配工作
broker中央控制器的选举过程：
当broker启动的时候，都会创建KafkaController对象，但是集群中只能有一个leader对外提供服务，这些每个节点上的KafkaController会在指定的zookeeper路径下创建临时节点，只有第一个成功创建的节点的KafkaController才可以成为leader（抢先注入），其余的都是follower。当leader故障后，所有的follower会收到通知，再次竞争在该路径下创建节点从而选举新的leader。
主题、分区
主题就是数据主题，是数据记录发布的地方,可以用来区分业务系统。Kafka中的Topics总是多订阅者模式，一个topic可以拥有一个或者多个消费者来订阅它的数据。
每一个主题可以被分为若干个分区，一个分区就是一个提交日志。消息以追加的方式写入分区
对于每一个topic，Kafka集群都会有一个或者多个分区。分区角色有分为Leader分区和Follower分区。每个分区都是有序且顺序不可变的记录集，并且不断地追加到log文件中。
由于主题一般包含几个分区，因此无法在整个主题范围内保 证消息的顺序，但是同一个分区是有序的。
每个分区是一个有序的，不可变的消息序列，新的消息 不断追加到这个有组织的有保证的日志上。分区会给每 个消息记录分配一个顺序ID号 – 偏移量， 能够唯一地标 识该分区中的每个记录。
Kafka集群保留所有发布的记录，不管这个记录有没有被 消费过，Kafka提供可配置的保留策略去删除旧数据。 例如：如果将保留策略设置为两天，在记录公布后两天 可用于消费，之后它将被丢弃以腾出空间
为什么设计分区？
-
为了并发读写，加快读写速度；通过这种优化，可以极大的提高并发响应
-
运用多分区的存储，利于数据的均衡；
-
加快数据的康复速率。如：一旦某台机器挂了，全部集群只需要康复一部分数据，可加快故障康复的时间。
分区策略：
轮训策略
如果键值为null，并且使用了默认的分区器，Kafka会根据轮训（Random Robin）策略将消息均匀地 分布到各个分区上
散列策略
如果键值不为null，并且使用了默认的分区器，Kafka会对键进行散列，然后根据散列值把消息映射到 对应的分区上
黏性分区器
很多时候消息是没有指定Key的。而Kafka 2.4之前的策略是轮询策略，这种策略在使用中性能比较低。所以2.4中版本加入了黏性分区策略（Sticky Partitioning Strategy）。
黏性分区器（Sticky Partitioner）主要思路是选择单个分区发送所有无Key的消息。一旦这个分区的batch已满或处于“已完成”状态，黏性分区器会随机地选择另一个分区并会尽可能地坚持使用该分区——象黏住这个分区一样。
自定义策略
默认分区器是使用次数最多的分区器。除了散列分区之外，用户可以根据需要对数据使用不一样的分 区策略
总结一下 broker、topic、分区、副本的关系
1.broker与副本：一个broker就是一台服务器，副本是针对服务器的，副本数可以是1到broker数，比如2个服务器副本数就是1-2.
2.broker 和分区：分区会尽可能的均匀分在broker上，比如3个broker，10个分区，那么每个broker上就是3个分区
3.分区和副本：有多少个副本，分区的数据都有多少个重复的。
3.topic与其他：broker、分区、副本都是为了保存好topic数据。topic的数据分散各个分区，假设数据均匀分布那每个分区都是1/分区数 的topic数据。当副本数=broker数时就代表每个broker上都有一份完成的topic数据，如果副本数 < broker数时 每个broker都只有部分的topic数。
如下图无机架的情况下，5个broker-10个分区-3个副本分布。
这种情况下broker-0 上就有p0 p5 p4 p9 p3 p8 六个分区的数据。这个无机架的情况，每个增加一个副本分区位置都会位移+1。
