kafka安装单机及集群

单机安装

下载地址：http://kafka.apache.org/downloads
Step1： 配置JAVA环境，检验环境：java -version
Step2： 下载并解压kafka

# cd /opt
# wget wget https://archive.apache.org/dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz
# tar -zxvf kafka_2.13-2.6.0.tgz
# mv kafka_2.13-2.6.0/ kafka
# cd kafka

 Step3： 配置kafka

修改相关配置： vim config/server.properties
Broker ID启动以后就不能改了： broker.id=1
取消注释，改成本机IP：listeners=PLAINTEXT://192.168.56.70:9092
num.partitions后面增加2行。
发送到不存在topic自动创建。允许永久删除topic。

#num.partitions=1

#auto.create.topics.

#enable=true delete.topic.enable=true

数据文件目录：log.dirs=/opt/kafka/data  （kafka安装在哪里就填哪里）

Step4： 启动zookeeper，新版的kafka已内置了一个zookeeper环境，可以直接使用，也可以改成指定已运行的ZK

# 启动ZK，指定zookeeper配置文件
./bin/zookeeper-server-start.sh ./config/zookeeper.properties &
# 后台启动ZK
./bin/zookeeper-server-start.sh -daemon ./config/zookeeper.properties

先前台提供查看有没有报错

启动ZK出现问题： /opt/kafka# /opt/kafka/bin/kafka-run-class.sh: line 318: exec: java: not found

问题原因： 是Kafka默认/usr/bin/java路径与我们实际的$JAVA_HOME/bin/java路径不一致导致的。

解决方案： 设置一个软连接 ln -s /opt/jdk1.8.0_181/bin/java /usr/bin/java
Step5： 启动Kafka

# 启动kafka，指定kafka配置文件
./bin/kafka-server-start.sh ./config/server.properties &
# 后台启动kafka
./bin/kafka-server-start.sh -daemon ./config/server.properties

 

Step6： 检查服务

root@yangqian:/opt/kafka# netstat -tunlp|egrep "(2181|9092)"
tcp6       0      0 127.0.0.1:9092          :::*                    LISTEN      2114/java       
tcp6       0      0 :::2181                 :::*                    LISTEN      3098/java

 

删除kafka全部数据步骤：
1、停止每台机器上的kafka；
2、删除kafka存储目录（server.properties文件log.dirs配置，默认为 /tmp/kafka-logs）全部topic的数据目录；
3、删除zookeeper上与kafka相关的znode节点；除了/zookeeper
4、重启kafka
------------------------------------------------------------------------------------------------------------------------------------------------------

集群安装

原文链接：https://blog.csdn.net/const_/article/details/102768086