kafka环境搭建

kafka环境搭建

总共有如下三种安装方式：

一、windows环境下搭建：

没研究过，不会

二、centos下环境搭建

一、装zk
1. home下新建一个文件夹
2. cd /home/kafka/
3.  wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm
4. chmod +x jdk-8u131-linux-x64.rpm
5. rpm -ivh jdk-8u131-linux-x64.rpm
6. 把如下拖进来：
    kafka_2.13-2.5.0
    kafka-manager-1.3.3.7
    zookeeper-3.4.14.tar
7. 解压zk：tar -zxvf zookeeper-3.4.14.tar.gz
8. 起别名:   mv zookeeper-3.4.14 zk
9. cd zk/conf
10. 起别名：
mv zoo_sample.cfg zoo.cfg
11 跳转到zk
12 ./bin/zkServer.sh start
13 看是否启动 jsp 
二、 开始装kfaka
1. tar -zxvf kafka_2.13-2.5.0.tgz
2. mv kafka_2.13-2.5.0 kafka
3. 找到打开kfaka/config/server.properties   
    找到21行  broker.id=0
    添加port=9092
    host.name=172.17.232.89(本机ip)      --ifconfig
    advertised.host.name=本机公网ip
4. 进入kfaka执行如下命令：加 -daemon 代表后台启动
bin/kafka-server-start.sh -daemon config/server.properties
5. jps

三、安装kafka-manage
1. 安装解压工具 yum install -y unzip zip
2. unzip kafka-manager-1.3.3.7.zip
3. cd kafka-manager-1.3.3.7
4. ./bin/kafka-manager  

见证奇迹：
浏览器输入ip:9000端口


四、集群
1. 启动zk
    找到其中 一个跳转到zk
    /bin/zkServer.sh start
2. 需要集群的挨个操作：进入kfaka
    bin/kafka-server-start.sh -daemon config/server.properties
    jps
3. 进入启动zk的服务器中
    ./bin/kafka-manager 

 

三、centos docker下的安装

1. 下载相关镜像

docker pull wurstmeister/zookeeper
docker pull wurstmeister/kafka

2. 启动zookeeper

#单机方式
docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

3. 启动kafka

#单机方式
docker run -d --name kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=10.0.0.101:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.0.0.101:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka

如果上面的报错，使用下面的再试下：记得修改ip和端口

docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.155.56:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.155.56:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka

4. 验证kafka是否可以使用：

　　docker exec -it kafka /bin/sh

　　进入路径：/opt/kafka_2.11-2.0.0/bin下

运行kafka生产者发送消息

　　./kafka-console-producer.sh --broker-list localhost:9092 --topic sun

发送消息 123123123

接收消息

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic sun --from-beginning

相关引用：https://www.jianshu.com/p/e8c29cba9fae，https://www.cnblogs.com/angelyan/p/14445710.html