docker 中安装kafka

docker 中安装kafka

在安装kafka之前需要先安装zookeeper，因为kafka 启动会将元数据保存在 zookeeper 中，zookeeper是一种分布式协调服务，可以再分布式系统中共享配置，协调锁资源，提供命名服务。

zookeeper 安装

1、在docker中拉取zookeeper 镜像

docker pull wurstmeister/zookeeper 

2、运行zookeeper 服务

docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2  --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper

-v /etc/localtime:/etc/localtime  将本地时间映射到容器中

3、查看docker 下是否正常运行zookeeper 服务

docker ps

 

kafka 安装

1、拉取kafka镜像

docker pull wurstmeister/kafka

2、运行kafka

docker run -d  --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.11.129:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.11.129:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka

-e KAFKA_BROKER_ID=0  在kafka集群中，每个kafka都有一个BROKER_ID来区分自己

-e KAFKA_ZOOKEEPER_CONNECT=192.168.11.129:2181/kafka 配置zookeeper管理kafka的路径

-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.11.129:9092  把kafka的地址端口注册给zookeeper

-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口

-v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间

 

3、查看kafka是否运行正常

docker ps

 4、进入kafka容器

docker exec -it kafka /bin/bash

5、进入kafka的bin目录下：cd  /opt/kafka_2.13-2.8.1/bin

6、创建一个新主题（test-kafka)来存储事件

./kafka-topics.sh --create --topic test-kafka --bootstrap-server localhost:9092

 显示新主题：test-kafka 的分区信息

./kafka-topics.sh --describe --topic test-kafka --bootstrap-server localhost:9092

测试消费消息：

./kafka-console-consumer.sh --topic test-kafka --from-beginning --bootstrap-server localhost:9092

测试生产消息：

./kafka-console-producer.sh --topic test-kafka --bootstrap-server localhost:9092

 

 

kafka官方资料：https://kafka.apache.org/documentation/#quickstart