kafka集群扩容【工地】
问题：Kafka一个节点挂掉，导致服务不可消费。
工作中遇到的一个问题，解决方法如下。
一、修改系统_offsets副本数为3
1、首先查看系统的_offsets副本是几个？
/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.6.36.159:2181|grep consumer_offsets
1
查看结果如下图：副本数为1。
2、修改kafka的核心配置文件server.properties
将num.partitions参数（默认为1）修改为3,
另外需要添加auto.create.topics.enable=true ,如果没有对用的topic可以主动创建topic。
由于__consumer_offsets是kafka默认的主题，无法删除，我们可以删除zookeeper中的__consumer_offsets。
进入zookeeper/bin目录执行./zkCli.sh
cd /usr/local/zookeeper/bin
./zkCli.sh
ls /broksers/topics
# 如果此命令报错，用下面代替
rmr /broksers/topics/__consumer_offsets
# 新版本zk去除了rmr命令，在这里我们用
deleteall /broksers/topics/__consumer_offsets
1
2
3
4
5
6
7
然后重启zookeeper、kafka
# 停止
/usr/local/zookeeper/bin/zkServer.sh stop
/usr/local/kafka/bin/kafka-server-stop.sh -daemon /usr/local/kafka/config/server.properties
# 启动
/usr/local/zookeeper/bin/zkServer.sh start
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
1
2
3
4
5
6
7
3、再次查看系统的_offsets副本是几个？
/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.6.36.159:2181|grep consumer_offsets
1
在节点1修改__consumer_offsets后，在节点2和节点3查看__consumer_offsets发现副本数已经变为3，不需要再进行修改。
！！！注意、到此问题没有解决，这里只是解决了系统的offsets副本，原先的topic的副本数依然为1，需要我们对已有的topic进行扩副本！！！
二、为现有普通topic扩副本
1、查看某个topic的副本数
/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.6.36.159:2181,192.6.36.161:2181,192.6.36.162:2181 --topic portal_device_info
1
2、制定分区及副本分配策略
添加json文件
vi /opt/portal_device_info.json
1
{
"version": 1,
"partitions": [
{
"topic": "portal_device_info",
"partition": 0,
"replicas": [
0,
1,
2
]
}
]
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
3、扩副本
/usr/local/kafka/bin/kafka-reassign-partitions.sh --zookeeper 192.6.36.159:2181,192.6.36.161:2181,192.6.36.162:2181 --reassignment-json-file /opt/portal_device_info.json –execute
1
如下图，表示成功。
4、再次查看副本数量
/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.6.36.159:2181,192.6.36.161:2181,192.6.36.162:2181 --topic portal_device_info
1
至此，问题已解决，我们测试一下，把其中一个节点停掉，kafka依然可以正常消费。
————————————————
版权声明：本文为CSDN博主「李振伟」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/lifulian318/article/details/126852758
参考以下，等有时间总结
Kafka一个节点挂掉，导致服务不可消费_kafka集群一个节点挂了会怎样_李振伟的博客-CSDN博客
https://blog.csdn.net/lifulian318/article/details/126852758
Kafka集群新增节点后数据重分配的步骤_陈尘辰的博客-CSDN博客
https://blog.csdn.net/cql252283126/article/details/109175928
kafka集群及监控部署 - hukey - 博客园
https://www.cnblogs.com/hukey/p/10763821.html
The LOW PFAImiticorrectapeerrnitlhas beenexceeded on DlMM number 1_百度搜索
https://www.baidu.com/s?wd=The%20LOW%20PFAImiticorrectapeerrnitlhas%20beenexceeded%20on%20DlMM%20number%201%20&rsv_spt=1&rsv_iqid=0xe099b3ec000032af&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=baiduhome_pg&rsv_enter=1&rsv_dl=tb&oq=kafka%25E6%2589%25A9%25E5%25AE%25B9&rsv_btype=t&inputT=1019&rsv_t=30c0Ltt0EXAtntD2DnvqoHBOdSOUhoFS1J47PMJR3VK4LOgrzfhmv3rAppc6cOnqiVSF&rsv_n=2&rsv_pq=84d2d28c0002dcc6&rsv_sug3=12&rsv_sug2=0&rsv_sug4=1019
'x3750 服务器' - W.58001
https://systemx.lenovofiles.com/help/topic/com.lenovo.sysx.8722.doc/W.58001.html
Kafka集群扩容「建议收藏」-腾讯云开发者社区-腾讯云
https://cloud.tencent.com/developer/article/2085477
Kafka 不停机修改某一个topic数据保存时间_命令行修改topic 保存天数_jast_zsh的博客-CSDN博客
https://blog.csdn.net/zhangshenghang/article/details/89152644
Kafka（六）Kafka基本客户端命令操作_kafka 客户端命令_jast_zsh的博客-CSDN博客
https://blog.csdn.net/zhangshenghang/article/details/89158167
Kafka Cluster 扩容 & 添加副本 & 重分配分区_kafka扩容分区_u013433591的博客-CSDN博客
https://blog.csdn.net/u013433591/article/details/128488764?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-3-128488764-blog-121059224.235%5Ev38%5Epc_relevant_sort_base3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-3-128488764-blog-121059224.235%5Ev38%5Epc_relevant_sort_base3&utm_relevant_index=4
zookeeper kafka备份_百度搜索
https://www.baidu.com/s?wd=zookeeper%20kafka%E5%A4%87%E4%BB%BD&rsv_spt=1&rsv_iqid=0xe53e0f2500024bdd&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=baiduhome_pg&rsv_enter=1&rsv_dl=tb&oq=zookeeper%2520kafka%25E7%25BE%25A4%25E9%259B%2586%25E5%25A4%2587%25E4%25BB%25BD&rsv_btype=t&inputT=232&rsv_t=2defwlp6TETxMTnuIZNXsICHtnK%2B73OlL9v1M2YjcAypN2J%2BqxhNX8%2F8%2F6o3BV6a1MNf&rsv_pq=8cce8560000bd480&rsv_sug3=56&rsv_sug1=44&rsv_sug7=100&rsv_sug2=0&rsv_sug4=1020
kafka数据迁移_51CTO博客_kafka集群数据迁移
https://blog.51cto.com/deararvin/1739463
kafka丢失数据_51CTO博客_kafka数据丢失
https://blog.51cto.com/u_15064650/3816280
kafka - 找找看个人搜 - 博客园
https://zzk.cnblogs.com/my/s/blogpost-p?Keywords=kafka&pageindex=2
博客后台 - 博客园
https://i.cnblogs.com/posts/edit
