kafka_2.12-1.0.0安装部署

kafka安装部署

安装

安装版本 kafka_2.12-1.0.0.tgz

• 解压

cd /opt/software/
tar -xvf kafka_2.12-1.0.0.tgz -C ../app/

• 映射，方便后续升级,后面分发后，每台都需要配置

ln -s kafka_2.12-1.0.0 kafka

• 创建日志存储目录

cd /opt/app/kafka
mkdir logs

• 修改配置文件

vim $KAFKA_HOME/config/server.properties
#唯一的 服务端id
21行：broker.id=0
#指定kafka的日志及数据【segment【.log,.index】】存储的位置
60行：log.dirs=/opt/app/kafka/logs
#指定zookeeper的地址
123行zookeeper.connect=node01:2181,node02:2181,node03:2181
#在最后添加两个配置，允许删除topic，当前kafkaServer的主机名
delete.topic.enable=true
host.name=node01

• 分发

cd /opt/app/
scp -r kafka_2.12-1.0.0 node02:$PWD
scp -r kafka_2.12-1.0.0 node03:$PWD

• 修改第二台第三台配置server.properties

#第二台
broker.id=1
host.name=node02

#第三台
broker.id=2
host.name=node03

• 配置环境变量，每台均添加

vim /etc/profile

# KAFKA_HOME
export KAFKA_HOME=/opt/app/kafka
export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile

测试

• 第一步：启动三台zookeeper[在自己服务器启动]

• 第二步：三台机器启动kafka server

cd /opt/app/kafka
bin/kafka-server-start.sh config/server.properties >>/dev/null 2>&1 &

关闭命令:bin/kafka-server-stop.sh

[root@node02 kafka]# jps
9927 QuorumPeerMain
10330 Kafka
10655 Jps

• 附上一个kafka多节点启动脚本 kafka_start.sh

#!/bin/sh
for host in node01 node02 node03
do
        ssh $host "source /etc/profile;/opt/app/kafka/bin/kafka-server-start.sh /opt/app/kafka/config/server.properties >/dev/null 2>&1 &"
        echo "$host kafka is running"
done

操作

• 创建

/opt/app/kafka/bin/kafka-topics.sh  --create --topic wsy --partitions 3 --replication-factor 2 --zookeeper node01:2181,node02:2181,node03:2181

--create：创建

--topic：指定topic的名称

--partitions：指定分区个数

--replication-factor：指定副本的个数

--zookeeper：指定zookeeper的地址

• 列举

/opt/app/kafka/bin/kafka-topics.sh --list --zookeeper node01:2181,node02:2181,node03:2181

• 查看

/opt/app/kafka/bin/kafka-topics.sh  --describe --topic wsy --zookeeper node01:2181,node02:2181,node03:2181 

Topic:wsy PartitionCount:3 ReplicationFactor:2
Configs:
第一个分区的信息 分区编号 leader所在的节点 这个分区所在所有节点
Topic: wsy Partition: 0 Leader: 0 Replicas: 0,1 Isr: 0,1
第二个分区的信息
Topic: wsy Partition: 1 Leader: 1 Replicas: 1,2 Isr: 1,2
第三个分区的信息
Topic: wsy Partition: 2 Leader: 2 Replicas: 2,0 Isr: 2,0

• AR：所有副本
• ISR：in-sync-replication：可用副本
• OSR：out-sync-replication：不可用副本

• 删除

/opt/app/kafka/bin/kafka-topics.sh  --delete --topic wsy --zookeeper node01:2181,node02:2181,node03:2181  

• 生产者

/opt/app/kafka/bin/kafka-console-producer.sh --topic wsy --broker-list  node01:9092,node02:9092,node03:9092

• 消费者

bin/kafka-console-consumer.sh --topic wsy --bootstrap-server node01:9092,node02:9092,node03:9092 --from-beginning 

• 默认从消费Topic中最新的数据
• --from-beginning