|NO.Z.00052|——————————|BigDataEnd|——|Hadoop&kafka.V37|——|kafka.v37|分区重新分配.v01|

一、分区重新分配
### --- [kafka高级特性解析]

~~~     [分区重新分配] 
~~~     [创建kafka集群实例二] 
~~~     [自定义分配分区] 
### --- 分区重新分配

~~~     向已经部署好的Kafka集群里面添加机器,我们需要从已经部署好的Kafka节点中复制相应的配置文件,
~~~     然后把里面的broker id修改成全局唯一的,最后启动这个节点即可将它加入到现有Kafka集群中。
~~~     # 问题:新添加的Kafka节点并不会自动地分配数据,无法分担集群的负载,除非我们新建一个topic。
~~~     需要手动将部分分区移到新添加的Kafka节点上,
~~~     Kafka内部提供了相关的工具来重新分布某个topic的分区。
~~~     # 在重新分布topic分区之前,我们先来看看现在topic的各个分区的分布位置:
二、启动zookeeper和kafka
### --- 启动zookeeper和kafka

[root@hadoop01 ~]# zkServer.sh start

[root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/yanqi/servers/kafka/config/server.properties
### --- 通过zookeeper查看kafka启动状态

[root@hadoop01 ~]# zkCli.sh 
 
[zk: localhost:2181(CONNECTED) 0] ls /myKafka/brokers
[ids, topics, seqid]
[zk: localhost:2181(CONNECTED) 4] ls /myKafka/brokers/ids   
[0]

[zk: localhost:2181(CONNECTED) 7] get /myKafka/brokers/ids/0
~~~ 输出参数
{"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://hadoop01:9092"],"jmx_port":-1,"host":"hadoop01","timestamp":"1632393439839","port":9092,"version":4}
cZxid = 0x649
ctime = Thu Sep 23 18:37:19 CST 2021
mZxid = 0x649
mtime = Thu Sep 23 18:37:19 CST 2021
pZxid = 0x649
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x10000072fd00001
dataLength = 186
numChildren = 0
三、在单机hadoop01下创建主题查看状态
### --- 创建主题:

[root@hadoop ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka \
--create --topic tp_re_01 --partitions 5 --replication-factor 1
### --- 查看主题信息:

[root@hadoop ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka \
--describe --topic tp_re_01
~~~输出参数
Topic:tp_re_01  PartitionCount:5    ReplicationFactor:1 Configs:
    Topic: tp_re_01 Partition: 0    Leader: 0   Replicas: 0 Isr: 0
    Topic: tp_re_01 Partition: 1    Leader: 0   Replicas: 0 Isr: 0
    Topic: tp_re_01 Partition: 2    Leader: 0   Replicas: 0 Isr: 0
    Topic: tp_re_01 Partition: 3    Leader: 0   Replicas: 0 Isr: 0
    Topic: tp_re_01 Partition: 4    Leader: 0   Replicas: 0 Isr: 0

 
 
 
 
 
 
 
 
 

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart
                                                                                                                                                   ——W.S.Landor

 

 

posted on   yanqi_vip  阅读(16)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

导航

统计

点击右上角即可分享
微信分享提示