摘要: 最近在spark读取kafka消息时,每次读取都会从kafka最新的offset读取。但是如果数据丢失,如果在使用Kafka来分发消息,在数据处理的过程中可能会出现处理程序出异常或者是其它的错误,会造成数据丢失或不一致。这个时候你也许会想要通过kafka把数据从新处理一遍,或者指定kafka的off 阅读全文
posted @ 2020-02-16 21:39 时光剑客 阅读(998) 评论(0) 推荐(0) 编辑
摘要: follower故障 follower发生故障后会被临时踢出ISR,待该follower恢复后,follower会读取本地磁盘记录的上次的HW,并将log文件高于HW的部分截取掉,从HW开始向leader进行同步。等该follower的LEO大于等于该Partition的HW,即follower追上 阅读全文
posted @ 2020-02-16 20:48 时光剑客 阅读(389) 评论(0) 推荐(0) 编辑