Ubuntu 16.04 64位安装kafka
在Ubuntu下安装完成kafka需要以下主要的2个步骤:
1. 安装jdk1.8以上版本。
2.安装zookeeper.
开始以上操作步骤:
3. 安装jdk. 先下载jdk,url: https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html
解压后配置环境变量:
vi ~/.profile 或者vi /etc/profile
把以上信息中JAVA_HOME中的路径修改为实际的路径。
执行:source ~/.profile
测试java环境是否正常: java -version
出现以上字样即表示配置jdk成功。
4. 下载安装zookeeper.
4.1 官网地址:http://mirror.bit.edu.cn/apache/zookeeper/
4.2 下载前确定下kafka和zoookeeper的版本关系
4.3 解压压缩包,并移动到指定目录。
解压并移动到指定目录:tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz
配置zookeeper:
进入zookeeper的安装目录conf目录下: cd conf
复制一份取名为zoo.cfg: cp zoo_sample.cfg zoo.cfg
修改zoo.cfg文件,其中最关键的配置是修改:dataDir和dataLogDir为你要设置的目录,前提是你自己先提前新建该这两个目录。
4.4 启动zookeeper
切换到bin目录下,执行启动zookeeper命令: ./zkServer.sh start
4.5 防火墙配置
最后防火墙里打开zookeeper的端口2181,否则服务一直会报连接不上zookeeper异常信息。
查看防火墙状态:sudo ufw status
如果是inactive状态,不活跃,表示防火墙没有开启。
注:如果没有安装防火墙,可以使用命令安装:sudo sudo apt-get install ufw
开启防火墙:sudo ufw enable
关闭防火墙:sudo ufw disable
重启防火墙:sudo ufw reload
增加新端口:sudo ufw allow 2181
查看端口信息:sudo netstat -tunlp|grep 2181
关闭端口: sudo ufw delete allow 2181
5. 下载安装kafka
5.1 官网下载地址:https://kafka.apache.org/downloads
此时下载的kafka版本最好和zookeeper的版本适用,建议下载推荐版本。
解压缩: tar -zxvf kafka_2.13-3.2.0.tgz
5.2 配置kakfa
进入kafka安装目录,config目录对server.properties文件进行编辑修改以下信息:
log.dirs=你自己的/log
zookeeper.connect=localhost:2181
如果涉及到外网的访问配置,可以修改以下两个注释取消:
listeners = PLAINTEXT://localhost:9092
advertised.listeners=PLAINTEXT://localhost:9092
5.3 配置kafka运行环境
vim /etc/profile
#kafka运行环境
export KAFKA_HOME=/mysoft/kafka
./kafka-topics.sh --zookeeper localhost:2181 --list
./kafka-topics.sh --delete --zookeeper localhost:2181 --topic test_topic
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --all-groups
./kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic xxxx
向topic中发送消息
./kafka-console-producer.sh --broker-list localhost:9092 --topic testTopic