Kafka - 安装
安装文件: kafka_2.13-2.6.0.tgz
官网下载: http://kafka.apache.org/downloads
准备zookeeper 环境 - 省略
安装kafka :
1.创建文件夹 并把文件上传至该目录下
mkdir /app
2.解压,并重命名
tar -zxvf kafka_2.13-2.6.0.tgz
mv kafka_2.13-2.6.0 kafka
3.进入kafka目录,并创建存放kafka日志目录
cd kafka/
mkdir kafkalogs
4.修改配置config/server.properties
vim /app/kafka/config/server.properties
相应内容:
broker.id=1 #当前机器在集群中的唯一标识，和zookeeper的myid性质一样
listeners=PLAINTEXT://172.22.0.7:9092 #监听的IP和端口
advertised.listeners=PLAINTEXT://172.22.0.7:9092
log.dirs=/app/kafka/kafkalogs #消息存放的目录
zookeeper.connect=172.22.0.7:2181,172.22.0.8:2181,172.22.0.9:2181 #设置zookeeper的连接端口
3节点集群另外两台机器同样配置，不过注意修改broker.id和ip和端口。
同一台服务器三节点修改端口, 不同服务可以使用指令拉取文件,修改配置文件(ip和端口)
scp -r root@172.22.0.7:/app/kafka /app/kafka
本文档集群的三个ip 及端口: (相应修改IP和端口)
172.22.0.7
172.22.0.8
172.22.0.9
Kafka 端口: 9092
zookeeper端口: 2181
5.依次启动各节点 kafka
进入kafka 目录: cd /app/kafka
前台启动: bin/kafka-server-start.sh config/server.properties & (回车退出日志窗口)
守护启动: bin/kafka-server-start.sh -daemon config/server.properties
后台启动: nohup bin/kafka-server-start.sh config/server.properties &
6.查看是否启动成功
netstat -anp | grep 9092
数据节点:
Master节点
7.测试
创建主题（在kafka目录中） cd /app/kafka
bin/kafka-topics.sh --create --zookeeper 172.22.0.8:2181 --replication-factor 1 --partitions 1 --topic ceshi
查看已有的主题
bin/kafka-topics.sh --list --zookeeper 172.22.0.8:2181
__consumer_offsets 是 kafka 自行创建的,和普通的 topic 相同。它存在的目的之一就是保存consumer提交的位移。
启动生产者做消息发布
bin/kafka-console-producer.sh --broker-list 172.22.0.8:9092 --topic ceshi
发布消息
另开一个窗口(或者另一个节点)订阅消息并开启消费者（注意都是在kafka目录）
开启消费者订阅消息：
bin/kafka-console-consumer.sh --bootstrap-server 172.22.0.7:9092 --from-beginning --topic ceshi
大功告成！
删除topic
bin/kafka-topics.sh --delete --zookeeper 172.22.0.8:2181 --topic ceshi
查看删除成功
bin/kafka-topics.sh --list--zookeeper 172.22.0.8:2181
8.停止
bin/kafka-server-stop.sh
踩坑记录 :
1.允许外放访问:
-
注意 log目录下 meta.properties broker.id=1
应该与config目录service.properties broker.id=1相同 -
阿里云环境 不同安全组配置, 集群不能使用内网IP, 外网的iptables 不在本机器内, 需要 开 Zookeeper 配置, 或者使用案例本身的 Zookeeper
4.JDK 环境变量
