KAFKA详解:分区副本因子说明(四)
一、分区下的副本因子
1、副本因子
- 创建副本因子的时候,副本因子数应该小于等于可用的broker数
- 副本因子为操作的单位是分区为单位。
2、分区与消费组的关系
- 当有多个副本数时,kafka并不是将多个副本同时对外提供读取和写入!
- 作用是让kafka读取和写入数据时的高可靠
- 副本因子数时包含本身|同一个副本因子不能放在同一个broker中
3、角色关系
在有多个副本的情况下,kafka会为同一个分区下的分区,设定角色关系:一个是leader和follower
leader负责与外面(生产者、消费者)的角色,进行读写处理
二、leader角色选举
1、部分副本因子故障
- 如果某一个分区有三个副本因子,就算期中一个挂掉,那么只会在剩下的两个钟,选择一个leader
- 但不会在其他的broker中,另启一个副本【因为在另一台启动的话,存在数据传递。只要在主机之间有数据传递,就会长时间占用网络IO,但是kafka是一个高吞吐量的消息系统,这种情况不允许发生】
- 所以不会在另一个broker中启动
2、所有都故障了
如果所有的副本都挂了!生产者如果生产的数据是指定分区的话,将写入不成功。
- ISR: 当前可用副本
- ack机制:确认机制
- leader broker是之前的一种说法!现在其它上不用
- kafka集群中-->包含了很多的broker。但是在这么多的broker中也会有一个老大的存在
- 管理所有的broker
作者:罗阿红
出处:http://www.cnblogs.com/luoahong/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接。