Kafka系列(1)--Kafka单机安装配置

Kafka系列(1)--Kafka单机安装配置

Kafka系列(2)--Kerberos安装及使用

Kafka系列(3)--Kafka开启Kerberos认证 

1、介质和环境准备

操作系统：CentOS Linux release 7.4.1708 (Core)

模式：单机版安装

操作机器：192.16.30.124

安装JDK：下载java 17（兼容版本java8、11）

wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz

kafka二进制版本：下载 kafka_2.12-2.5.1.tgz   （2.12是scala版本，2.5.1是kafka版本）

wget https://archive.apache.org/dist/kafka/2.5.1/kafka_2.12-2.5.1.tgz

环境规划

IP	主机名	版本	用途描述
192.16.30.123	kdc.abc.com	Kerberos 1.15.1	Kerberos服务器、Kerberos客户端
192.16.30.124	kafka.abc.com	kafka_2.12-2.5.1.tgz	Kafka服务器（用自带zookeeper）

修改 /etc/hosts 文件

192.16.30.123 kdc.abc.com kdc
192.16.30.124 kafka.abc.com kafka

2、安装

2.1、安装JAVA

查看Java版本

kafka 需要运行时依赖jdk

java --version

# -bash: java: command not found

系统未安装java，需要安装Java，如果上面命令执行有返回java版本，请确认是java 8、11、17，否则卸载重装

安装Java 17（已安装java可跳过本步）

tar zxvf jdk-17_linux-x64_bin.tar.gz
mv jdk-17.0.2 /usr/local/java

编辑 /etc/profile

在最后加入

# java
export JAVA_HOME=/usr/local/java
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

执行

source /etc/profile

 

再次检查 java 版本，java安装完成

java --version

#java 17.0.2 2022-01-18 LTS
#Java(TM) SE Runtime Environment (build 17.0.2+8-LTS-86)
#Java HotSpot(TM) 64-Bit Server VM (build 17.0.2+8-LTS-86, mixed mode, sharing)

2.2、安装kafka

解压安装

tar xvf kafka_2.12-2.5.1.tgz
mv kafka_2.12-2.5.1 /usr/local/kafka

编辑 /etc/profile/

在最后加入

# kafka
export KAFKA_HOME=/usr/local/kafka
export PATH=$KAFKA_HOME/bin:$PATH

执行

 source /etc/profile

 

整体安装完成

3、启动

3.1、启动zookeeper

zookeeper-server-start.sh -daemon /usr/local/kafka/config/zookeeper.properties

3.2、启动kafka

kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

服务启动完成

4、测试kafka

4.1、创建一个测试的Topic

kafka-topics.sh --create --topic topictest --bootstrap-server 192.16.30.124:9092 --partitions 1 --replication-factor 1

#--bootstrap-server localhost:9092 指定consumer,由kafka来维护信息； 老的使用--zookeeper ip:2181，这样就由zk来维护信息。
#官网没有指定partitions，命令运行后会提示你指定
#创建topic过程的问题，replication-factor个数不能超过 broker 的个数
#操作系统重启后，需要重新创建

4.2、查看所有Topic

kafka-topics.sh --list --bootstrap-server 192.16.30.124:9092

4.3、详细查看指定Topic

kafka-topics.sh --describe --topic topictest --bootstrap-server 192.16.30.124:9092

4.4、生产消息（在提示框输入即可）

kafka-console-producer.sh --topic topictest --bootstrap-server 192.16.30.124:9092

4.5、消费消息（新开一个shell，可以看到刚生产的消息）

kafka-console-consumer.sh --topic topictest --from-beginning --bootstrap-server 192.16.30.124:9092

4.6、删除topic

kafka-topics.sh --delete --bootstrap-server 192.16.30.124:9092 --topic topictest