Linux （centos、麒麟）安装kafka详细步骤

Linux 安装 kafka 详细步骤

一，kafka 下载地址

http://archive.apache.org/dist/kafka/

二，安装步骤

2.1 安装JDK (kafka 是Scala 语言开发，运行在 jvm 上)

解压文件
tar -zxf jdk1.8.0_201.tar

# 配置环境变量
vim /etc/profile

# 在 profile 文件最后加上
export JAVA_HOME=/usr/local/java/jdk1.8.0_201
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar

# 使配置生效
source /etc/profile

# 最后输入 java 命令测试
----------------------------------------------------

2.2 安装 zookeeper (kafka 依赖 zookeeper)

# 解压文件
tar ‐zxvf apache‐zookeeper‐3.5.8‐bin.tar.gz

# 复制一份配置文件, 方便修改
cp conf/zoo_sample.cfg conf/zoo.cfg

# 启动
bin/zkServer.sh start

# 连接控制台
bin/zkCli.sh

# 查看zk的根目录相关节点
ls /
————————————————

2.3 安装 kafka

# 解压 kafka
tar ‐xzf kafka_2.11‐2.4.1.tgz

# 修改配置文件
vim config/server.config

# broker.id属性在kafka集群中必须要是唯一
broker.id=0
# kafka部署的机器ip和提供服务的端口号,切勿设0.0.0.0可能报错
listeners=PLAINTEXT://192.xxx.xx.xx:9092
# kafka的消息存储文件
log.dir=/usr/local/data/kafka‐logs
# kafka 连接 zookeeper 的地址
zookeeper.connect=192.xxx.xx.xx:2181

# 启动服务 , 运行的日志打印在 logs 目录里的server.log 里
# 后台启动，不会打印日志到控制台
1：bin/kafka‐server‐start.sh ‐daemon config/server.properties
2：bin/kafka‐server‐start.sh config/server.properties &

错误提示VM option 'UseG1GC' is experimental and must be enabled via -XX:+UnlockExperimentalVMOptions.

 

该配置路径如下：

/app/kafka/kafka_2.12-2.8.0/bin/kafka-run-class.sh

打开之后，直接找到此项配置，删除即可。

if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then
KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+ExplicitGCInvokesConcurrent -XX:MaxInlineLevel=15 -Djava.awt.headless=true"
fi

-----------------------------------------------------------------------------------------------------------------------

# 启动成功后,可以进入zookeeper 查看kafka节点
bin/zk.Cli.sh
ls /

# 停止kafka
bin/kafka‐server‐stop.sh
————————————————

三，Kafka 开启远程连接

确认Linux 防火墙 kafka 的端口已开启，并做下面相关配置

vim config/server.properties # 把下述配置注释 listeners=PLAINTEXT://:127.0.0.1:9092 # 配置下述内容 advertised.listeners=PLAINTEXT://127.0.0.1:9092