kafka中配置细节
今天遇到kafka发送消息的时候,一直报Kafka“Failed to send messages after 3 tries”错误,根据网上找问题,修改各种配置参数,各种重启,还是解决不了问题。
郁闷的关键在于 ,kafka装在四台机器上面,修改参数,然后停止重启各种不方便。
最后发现是因为同事昨天将server.properties这个重要的配置scp到其他机器上面,他忘记修改broker.id这个参数了。导致我在网上找出的问题不是我想要的问题。
这个参数的是[0,1,2,...8]。修改后。。。重启kafa....
利用午休时间最后在控制台命令行测试和程序发送消息都能成功。
顺便说说关于kafka的命令:
kafka安装服务器:k1,k2,k3,k4
zookeeper安装服务器:k1,k2,k3,k4
安装目录:/home/kafka/
运行kafka
/home/kafka/bin/kafka-server-start.sh /home/kafka/config/server.properties >/dev/null 2>&1 &
创建Topic
/home/kafka/bin/kafka-topics.sh --zookeeper k1:2181,k2-2181,k3-2181,k4-2181 --topic mytopic --replication-factor 1 --partitions 1 --create
Topic列表
/home/kafka/bin/kafka-topics.sh --zookeeper k1:2181,k2-2181,k3-2181,k4-2181 --list
生产者测试
/home/kafka/bin/kafka-console-producer.sh --broker-list k1:9092,k2-9092,k3-9092,k4-9092 --topic mytopic2
消费者测试
/home/kafka/bin/kafka-console-consumer.sh --zookeeper k1:2181,k2-2181,k3-2181,k4-2181 --topic mytopic --from-beginning
查看Topic
/home/kafka/bin/kafka-topics.sh --describe --zookeeper k1:2181,k2-2181,k3-2181,k4-2181 --topic mytopic
关闭kafka
我直接用的kill -9 kafka进程号 就是这么简单粗暴。
差不多还是休息哈吧 不然下午看着电脑想睡觉,晚上有时间我把测试代码贴出来一个小demo。