KAFKA
项目为什么采用KAFKA?
大数据平台数据量大,每日3.5亿笔交易,硬盘存储
发布订阅模式,很多项目组(消费者组)都需要消费同一个主题,kafka是典型的发布订阅模式
稳定的流处理消息来源
--------------------------
AR【分区中的所有副本】
ISR【与分区leader副本保持一定程度同步的副本】ISR机制保证高性能与可靠性
OSR【与分区leader副本同步滞后过多的副本】
HW【高水位】消费者只能拉取当前日志此offset(不包括)之前的消息
LEO【log end offset】当前日志文件中下一条消息将要写入的offset
--------------------------
看一下序列化的本质,对比kafka生产者中指定序列化类的目的
producer->拦截器(链)->序列化器->分区器->buffer缓冲区-双端队列Deque<ProducerBatch> ->sender线程-<broker节点Node,List<ProducerBatch>-<Node,Request>->borker
KafkaProducer对象多线程安全,因为无状态,即无共享变量被多线程同时修改
点对点模式(队列)/发布订阅模式(广播)
消费者可以只订阅某个主题的特定分区进行消费,而不是消费整个主题的所有分区。P52 assign()。场景:生产者通过分区器将 云闪付交易/刷卡交易 发送到不同分区,消费者按需求消费
消费位移提交问题:重复消费、消息丢失 实际场景P65
自动提交、手动提交
指定消费位移处开始消费:seek() P73
获取分区指定时间处之后的第一条数据的偏移量,从此处开始消费 P77 P185
再均衡监听器-》解决:消费组新增加一个消费者时,会将不同分区重新分配给各个消费者消费,分区之前的所有者还没来得及提交位移就被新消费者抢走分区了,导致重复消费。
消费者拦截器,应用场景:10s之前的消息在poll返回List之前过滤掉
KafkaConsumer对象非线程安全,同一时间只能一个线程在操作它,比如项目中的主线程
分区重分配:kafka服务集群中各个broker负责存储哪些分区副本,将某个broker上的副本交给其他broker存储就叫分区重分配。触发分区重分配的场景: 新增broker、broker节点宕机、新增分区场景
分区数选择
---------------------------------
日志存储格式:P162、P164:【 log.dir配置的根目录-存储topic日志 每个topic->多个partitions->每个partition对应多个副本->每个副本有一个存储日志目录->日志分段->目录下有.log日志文件+位移索引文件.index+时间索引文件.timestamp】
索引特点:稀疏、单调递增、内存、二分查找
日志切分、索引切分
偏移量索引格式:相对位移+物理位置
如何查找一个给定偏移量xxx的记录? P183 日志分段存储采用concurrentSkipListMap跳表-》找到yyy.log-》计算目标记录在文件中的相对位移z=xxx-yyy -》二分查找比z小的那个索引,拿到索引消息的物理位置position-》根据position顺序查找磁盘
时间戳索引格式:时间戳+相对位移
如何查找给定时间戳的下一条记录?P185 时间戳-》对比每个分段日志最后一条记录时间戳-》找到分段日志-》找到分段日志对应时间戳索引文件-》找时间戳索引,获取相对偏移量-》找偏移量索引文件中对应索引,找到分段日志物理位置-》从物理位置依次向下查找,对比记录的时间戳和给定时间戳
磁盘存储为什么还这么快?文件追加-顺序写盘、页缓存
--------------------------------------------
服务端
生产者向服务端发送消息的请求协议类型 ProducerRequest/ProducerResponse
follower向leader、consumer向server 拉取消息的拉取协议 FetchRequest/FetchResopnse,及拉取协议引入session_id优化,不必传输需要拉取的topics信息
时间轮:处理延时操作,如延时生产、延时拉取、延时删除等。设计灵感时钟的时分秒。时间轮升降级机制
什么是延时生产?ack=-1。producer生产数据-》leader写入后,follower进行拉取同步,给这个同步过程设置一个超时时间,延时操作管理器的定时器(时间轮实现)负责管理这个超时时间,一旦到达超时时间强制响应producer。
Kafka集群中的broker leader通过监听ZK中各个功能节点的变化来触发集群操作
----------------------------------------------
客户端
分区分配策略:范围、轮询、粘性。范围和轮询为什么存在分配不均问题?粘性策略怎么解决的?
自定义分区器
每个消费组在服务端都有一个组协调器:GroupCoordinator,负责执行消费者再均衡操作