Kafka - Kafka 部署安装

阅读目录(Content)

• 一、背景：集群规划
• 二、Kafka 集群部署
• 三、Kafka 命令行操作
• 3.1 kafka-topics.sh
• 3.2 kafka-console-producer.sh
• 3.3 kafka-console-consumer.sh

回到顶部(go to top)

一、背景：集群规划

 

回到顶部(go to top)

二、Kafka 集群部署

  

• 修改配置文件

cd config/
vi server.properties

# 输入以下内容：
#----------------
#broker 的全局唯一编号，不能重复
broker.id=0
#删除 topic 功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志存放的路径
#默认的位置是tmp/，临时目录，会被定期自动删除
log.dirs=/opt/module/kafka/logs
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment 文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接 Zookeeper 集群地址
#特意加上/kafka，是为了节点更集中，将来集体删除时更方便
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka

 

 

 

具体参考：Linux - xsync同步脚本的使用

 

 

易错：

关闭kafka的时候，要先关闭kafka，再关闭zookeeper。

一定不能先关zookeeper，否则关不掉kafka。因为kafka关闭之前，不会立马shutdown，需要和zookeeper通信一下才会关闭。

 

 

• kafka群起脚本

 

 

 

 

 

回到顶部(go to top)

三、Kafka 命令行操作

 

想查看每个sh命令的使用规则，直接找到sh文件的路径，打回车即可。

 

 

 

3.1 kafka-topics.sh

 

 

 

 

如果加上--from-beginning: 会把该主题以往所有的数据都读取出来

不加上该参数，默认是只读取增量的数据。

 

3.2 kafka-console-producer.sh

3.3 kafka-console-consumer.sh