大数据-66 Kafka 高级特性 分区Partition 副本因子Replication Factor replicas动态修改 线上动态修改副本数 原创
点一下关注吧!!!非常感谢!!持续更新!!!
目前已经更新到了:
- Hadoop(已更完)
- HDFS(已更完)
- MapReduce(已更完)
- Hive(已更完)
- Flume(已更完)
- Sqoop(已更完)
- Zookeeper(已更完)
- HBase(已更完)
- Redis (已更完)
- Kafka(正在更新…)
章节内容
上一节我们完成了如下的内容:
现实业务中我们会遇到:当Kafka集群中有一个节点宕机了,比如Broker0、Broker1中,Broker1宕机了,此时由于我们配置了副本数为2,Kafka集群正常工作,提供生产和消费能力。
但是当我们修好Broker1之后,恢复宕机之后,发现Leader都是Broker0,不会再平衡到Broker1上,所以我们需要用脚本来让Kafka集群进行自动再平衡。
- Kafka自动再平衡
- 新建主题
- 查看主题
- 模拟宕机
- 重启节点
- 编写JSON
- 测试运行
分区(Partition)
Kafka 中的每个主题(Topic)都可以分为多个分区。分区是 Kafka 实现可扩展性和高吞吐量的关键机制。每个分区可以看作是一个有序的消息队列,消息在分区内按写入顺序进行存储,并且每个消息都会分配一个唯一的偏移量(Offset)。
分区优势
- 并行处理:通过将主题分为多个分区,Kafka 可以在多台服务器上并行处理消息,从而提高系统的吞吐量。
- 负载均衡:消费者组中的不同消费者可以消费不同的分区,从而实现负载均衡。
- 水平扩展:当需要处理更多的消息时,可以通过增加分区来扩展 Kafka 集群的容量。
副本因子(Replication Factor 或者 Replicas)
副本因子表示每个分区在 Kafka 集群中的副本数量。每个分区的副本包括一个首领副本(Leader)和多个追随者副本(Follower)。
- Leader:Leader 是分区的主要副本,负责处理所有的读写请求。
- Follower:Follower 是 Leader 的备份副本,它们会同步 Leader 的数据,但不会直接处理客户端的请求。只有当 Leader 出现故障时,Follower 才会成为新的 Leader。
副本因子作用
- 容错性:副本因子提供了容错能力。当一个节点发生故障时,Kafka 可以通过选举新的 Leader 来保证数据的可用性。
- 高可用性:即使集群中的部分节点不可用,Kafka 依然能够确保数据的可用性和持久性。
- 副本因子的选择:副本因子通常设置为 3,这意味着每个分区有 3 个副本。这样即使有一个副本节点宕机,系统仍然能保证数据的安全性和服务的连续性。
工作原理
在 Kafka 中,当一个消息写入到某个分区时,首先会写入到该分区的 Leader 副本中,然后 Leader 会将该消息同步到所有的 Follower 副本。当所有的 Follower 都成功同步后,该消息才被认为是提交成功的(即对消费者可见)。
通过分区和副本因子,Kafka 实现了数据的高可用性和高性能处理能力。在实际应用中,合理配置分区和副本因子对于 Kafka 集群的性能和稳定性至关重要。
修改分区副本
现实业务中与实际项目中,我们可能由于主题的副本因子设置问题,需要重新设置副本因子。
由于集群的扩展,需要重新设置副本因子。
Topic一旦使用又不能轻易删除重建,因此动态增加副本因子就成为最终的选择。
背景情况
假设我们有两个KafkaBroker分别为:Broker0、Broker1
- 当我们创建Topic有2个分区,并且replication-factor为1,基本一个Broker一个分区。
- 当一个分区宕机了,该Topic就无法使用了,因为两个分区中只有一个可以使用
- 当我们创建的Topic有3个分区时,replication-factor为2时,可能分区数据分布情况是:[broker0,partition0,partition1,partition2] 和 [broker1,partition1,partition0,partition2]
- 每个分区有一个副本,当其中一个Broker宕机了,Kafka集群还能完整的凑出该Topic的两个分区,例如当Broker0宕机了,可以通过Broker1组合出Topic的两个分区。
启动服务
确保你有两台节点是可以正常使用的:
我这里是h121和h122
kafka-server-start.sh /opt/servers/kafka_2.12-2.7.2/config/server.properties
h121
h122
创建主题
kafka-topics.sh --zookeeper h121.wzk.icu:2181 --create --topic topic_test_02 --partitions 3 --replication-factor 1
运行结果如下图:
查看主题
kafka-topics.sh --zookeeper h121.wzk.icu:2181 --describe --topic topic_test_02
运行结果如下图:
可以看到跟我们的上一个实验的开头分配情况是一致的。
修改副本因子(不允许)
尝试修改
# 刚才 --create的时候 --replication-factor是1
kafka-topics.sh --zookeeper h121.wzk.icu:2181 --alter --topic topic_test_02 --replication-factor 2
我们可以观察到,是不允许我们这样操作的:
那如果我们业务上要求我们修改副本因子,我们该怎么办呢?
下面提供一个可行的方案。
修改副本因子
编写JSON
所以我们需要借助 kafka-reassign-partitions.sh
新建一个文件,这里的JSON在replicase里写入了多个:
vim topic_test_02_increment-replication-factor.json
{
"versions": "1",
"partitions": [
{
"topic": "topic_test_02", "partition": 0, "replicas": [0,1]
},
{
"topic": "topic_test_02", "partition": 1, "replicas": [0,1]
},
{
"topic": "topic_test_02", "partition": 2, "replicas": [1,0]
}
]
}
我们写入的内容如下:
执行JSON
kafka-reassign-partitions.sh --zookeeper h121.wzk.icu:2181 --reassignment-json-file topic_test_02_increment-replication-factor.json --execute
观察执行的结果如下:
查看结果
kafka-topics.sh --zookeeper h121.wzk.icu:2181 --describe --topic topic_test_02
执行的结果如下图所示:
可以看到,我们的副本数已经是 01、01、10了,此时就算 h121 或者 h122 中有一台节点挂掉了,我们也可以继续进行消费!
· 分享4款.NET开源、免费、实用的商城系统
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
· 上周热点回顾(2.24-3.2)