kafka学习（二）kafka安装与命令行调用

文章更新时间：2021/10/28

一、安装JDK

　　过程就不过多介绍了...

二、安装Zookeeper

　　安装过程可以参考此处~

三、安装并配置kafka

下载kafka

　　Kafka下载地址：http://kafka.apache.org/downloads

解压文件

修改配置文件

一些主要的配置信息

#1、broker实例id 这个是kafka集群区分每个节点的唯一标志符
broker.id=0

#2、监听的端口号
listeners=PLAINTEXT://:9092

#3、消息的存放路径
log.dirs=G:\kafka\kafka_2.11-2.4.1\logs

#4、kafka消息的保留时间，默认为7天即168小时【单位为：小时】
log.retention.hours=168

#5、log文件存放着msg，这里设置的是log文件的最大大小，默认最大为1个G【单位为：byte】
log.segment.bytes=1073741824

#6、kafka链接的zk地址
zookeeper.connect=localhost:2181

#7、kafka链接的超时时间
zookeeper.connection.timeout.ms=6000

#8、默认的分区数量
num.partitions=1

四、启动并测试kafka【以windows操作示例】

 启动ZK

启动kafka

##使用配置文件启动kafka
kafka-server-start.bat ..\..\config\server.properties

创建topic

　　再次进入kafka的bat脚本目录，输入cmd打开命令行窗口，输入以下命令，创建kafka的消息topics【topic名为zhTest】

##表示创建一个名为zhTest的Topic，分区为1，副本也为1
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic zhTest

　　replication-factor：表示在不同的broker中保存几份副本。

　　partitions：表示分区数。设置为1表示该topic（同一个brocker上）存在有多少个分区。PS：每个分区的数据是不重复的，用于提高吞吐量。

查看topic

kafka-topics.bat --list --zookeeper localhost:2181  ##查看localhost:2181上存在的topic信息

启动生产者

　　再次进入kafka的bat脚本目录，输入cmd打开命令行窗口，输入以下命令，创建Producer： 

##此命令为修改命令行窗口的名称，此命令可不执行，直接执行下面的命令去启动生产者
title producer

##此命令为启动生产者，向zhTest这个Topic生产消息
kafka-console-producer.bat --broker-list localhost:9092 --topic zhTest

　　可在窗口中输入消息内容：

启动消费者

　　再次进入kafka的bat脚本目录，输入cmd打开命令行窗口，输入以下命令，创建consumer： 

##此命令为修改命令行窗口的名称，此命令可不执行，直接执行下面的命令去启动消费者
title consumer

##--from-beginning参数表示从开头开始消费消息
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic zhTest --from-beginning

　　可在窗口中输出消息内容：

　　PS：某些博文里会推荐使用

kafka-console-consumer.bat --zookeeper localhost:2181 --topic testDemo

　　这个命令来启动消费者，这里说明一下，低版本的kafka是用这个命令来启动消费者并进行消息消费的，由于本文使用的kafka版本较高，所以才用的上面那个命令行进行消费者启动，并消费信息。