Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十六)Structured Streaming:WARN clients.NetworkClient: Error while fetching metadata with correlation id 1 : {my-topic=LEADER_NOT_AVAILABLE}
问题描述:
我之前使用kafka的命令删除了改topic:
./kafka-topics.sh --delete --zookeeper 【zookeeper server】 --topic 【topic name】
kafka是启用了自动创建topic功能的(之气那测试过可以使用),发布消息到该topic上,此时报错,感觉没删除干净,只是标记为删除状态。
抛出异常信息为:
WARN clients.NetworkClient: Error while fetching metadata with correlation id 1 : {my-topic=LEADER_NOT_AVAILABLE}
解决方法:
kafka在zookeeper上存储结构:
启动zookeeper的客户工具,删除zookeeper根目录下的brokers目录下的topic目录下的所有东西(这样会把之前建的所有topic都删除)
1)jps查看zk的进程
30837 QuorumPeerMain
2)查找zk的运行目录:
ps -ef|grep QuorumPeerMain
3)进入zk的安装目录找打bin/zkClient.sh,并运行它:
4)查看/brokers/topics和/admin/delete_topics下面有什么东西
ls /brokers/topics
ls /admin/delete_topics
此时发现删除的topic在zk的/brokers/topics节点下依然存在。
5)强制删除该topic节点。
rmr /brokers/topics/my-topic
rmr /admin/delete_topics/my-topic
验证程序可以正常运行。
同事说造成整个问题的原因,有可能是默认kafka topic的partition不是brokers的倍数的问题,但暂时未验证。
基础才是编程人员应该深入研究的问题,比如:
1)List/Set/Map内部组成原理|区别
2)mysql索引存储结构&如何调优/b-tree特点、计算复杂度及影响复杂度的因素。。。
3)JVM运行组成与原理及调优
4)Java类加载器运行原理
5)Java中GC过程原理|使用的回收算法原理
6)Redis中hash一致性实现及与hash其他区别
7)Java多线程、线程池开发、管理Lock与Synchroined区别
8)Spring IOC/AOP 原理;加载过程的。。。
【+加关注】。