摘要: 正常情况下,Kafka本身会自动把Leader Partition均匀分散在各个机器上,来保证每台机器的读写吞吐量都是均匀的。但是如果某 些broker宕机,会导致Leader Partition过于集中在其他少部分几台broker上,这会导致少数几台broker的读写请求压力过高,其他宕机的 br 阅读全文
posted @ 2022-03-14 16:48 郭慕荣 阅读(231) 评论(0) 推荐(0) 编辑
摘要: 1)Leader故障(1) Leader发生故障之后,会从ISR中选出一个新的Leader(2)为保证多个副本之间的数据一致性,其余的Follower会先 将各自的log文件高于HW的部分截掉,然后从新的Leader同步 数据。注意:这只能保证副本之间的数据一致性,并不能保 证数据不丢失或者不重复。 阅读全文
posted @ 2022-03-14 15:10 郭慕荣 阅读(170) 评论(0) 推荐(0) 编辑
摘要: 1:新增字段并添加唯一索引alter table 表名 add 字段名称 varchar(128) DEFAULT NULL COMMENT '商品唯一标志',add unique index uniq_goods_unique(字段名); 阅读全文
posted @ 2022-03-14 14:33 郭慕荣 阅读(13) 评论(0) 推荐(0) 编辑
摘要: 1、控制器(Broker)选举 所谓控制器就是一个Borker,在一个kafka集群中,有多个broker节点,但是它们之间需要选举出一个leader,其他的broker充当follower角色。集群中第一个启动的broker会通过在zookeeper中创建临时节点/controller来让自己成为 阅读全文
posted @ 2022-03-14 10:45 郭慕荣 阅读(381) 评论(0) 推荐(0) 编辑
摘要: 一:Kafka 副本 4.3.1 副本基本信息(1)Kafka 副本作用:提高数据可靠性。(2)Kafka 默认副本 1 个,生产环境一般配置为 2 个,保证数据可靠性;太多副本会 增加磁盘存储空间,增加网络上数据传输,降低效率。(3)Kafka 中副本分为:Leader 和 Follower。Ka 阅读全文
posted @ 2022-03-14 10:19 郭慕荣 阅读(249) 评论(0) 推荐(0) 编辑