Kafka 安装与操作

一、下载

下载链接：https://www-eu.apache.org/dist/kafka/2.1.1/kafka_2.11-2.1.1.tgz

二、安装

解压到期望文件夹。

三、配置

在解压的文件夹中添加一个logs目录，用于存放日志文件。

文件夹config中，存放配置文件。

修改服务配置文件（server.properties），如下所示，其他不变。

log.dirs=E:\\environment\\kafka\\kafka_2.11-2.1.1\\logs

四、启动

打开命令提示符，输入以下命令启动kafka。

kafka-server-start ../../config/server.properties

五、常见错误

错误: 找不到或无法加载主类 Files\Java\jdk1.8.0_181\lib;C:\Program

解决方法：

在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat，打开编辑，作出如下修改：

修改前：

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp

%CLASSPATH%

 %KAFKA_OPTS% %*

修改后：

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp

"%CLASSPATH%"

 %KAFKA_OPTS% %*

六、主题（Topic）

1. 创建

kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test

该命令会创建一个名为test的topic，有3个分区，每个分区需分配1个副本。

2. 查询

kafka-topics --list --zookeeper localhost:2181

查询所有topic。

3. 删除

kafka-topics --delete --zookeeper localhost:2181 --topic test

Topic test is marked for deletion.

Note: This will have no impact if delete.topic.enable is not set to true.

提示需要在server.properties中将delete.topic.enable设为true。

七、消息

1. 生产

用Kafka的console-producer在topic test 生产消息

打开命令提示符，到E:\environment\kafka\kafka_2.11-2.1.1\bin\windows目录，运行命令：

kafka-console-producer --broker-list localhost:9092 --topic test

然后输入想要产生的消息内容（如 Hello world），回车。

2. 消费

用Kafka的console-consumer 消费topic test的消息