Kafka小记
1、kafka broker 只有leader提供读写服务,follower会准实时同步leader数据,若leader宕机,follower有些数据未同步,此follower被选举为leader之后,为避免数据丢失,设置以下参数:
topic: replication.factor 复制因子大于1
服务端: min.insync.replicas 保持同步的副本数大于1,至少有一个follower保持联系
unclean.leader.election.enable为false 不选择非ISR的follower为新leader,提高可靠性,会降低可用性
producer: acks=all retries=MAX 写入所有replication才算写入成功,失败无限重试。
2、增量同步工具:Maxwell、canal、Debezium
仅作为笔记使用,记录信息过于简洁。