kafka学习笔记

安装：

0、JDK（v8，v11都经过了测试）

1、Just download  kafka.tar.gz,  no need zookeeper 

2、tar开

3、修改kafka/config下的server.properties（每服务一个，id及监听端口及Log文件必须各不相同）及zookeeper.properties

      注意：在监听端口侧要写上IP:9092，否则虽然在console-producer可以正常推送和拉取，但用远程工具时，连接会很慢且无法打开topic。用了IP：9092后，console-producer时，bootstrap-server后面不能写localhost:9092，而要写ip：9092,否则producer也会报错。

4、启动zookeeper

     bin/zookeeper-server-start.sh config/zookeeper.properties

     成功检查：jps（显示QuorumPeerMain）；tcp2181 ;  

5、启动kafka

     bin/kafka-server-start.sh config/server1.properties

     bin/kafka-server-start.sh config/server2.properties

   成功检查：jps（显示kafka)

 

说明：开始时想复杂了，下了bitnami的ova包，但也不好用。反而是利用upm平台安装kafka就简单很多，只需要停掉upm进程（有些zookeeper会抢占8080,与upm冲突。如果用kafka安装包自带的zookeeper则不会抢占8080，这样upm不停也可以），按照安装步骤安装即可。

验证测试：生产及消费

将文件内容做为消息，由producer发送给broker:

cat /root/xxx.txt  |  bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic XXX

消费：

bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic XXX

订阅方式同producer一样的参数（可通过screen命令在单终端发送/阅读，由screen返回ctrl-a d)

 

一个windows下的zookeeper软件：prettyzoo

另：一个好用的kafka客户端 for windows:

 

  

 

参考：

https://kafka.apache.org/  网站的docs部分很好，命令行命令的解释很详细，包括安装及验证测试。阅读时注意版本

https://www.orchome.com/kafka/index //这个地址是对前面网站文档的翻译，嫌英文麻烦的可以直接看这个。