kafka集群安装部署
kafka集群安装
使用的版本
系统:centos6.5 centos6.7
jdk:1.7.0_79
zookeeper:3.4.9
kafka:2.10-0.10.1.0
一.环境准备[只列,不具体写]
1.安装jdk
2.更改机器名
3.添加所有机器的host
二.安装步骤
2.1安装zookeeper
- 下载zookeeper安装包 下载地址
- 将安装包上传到一台电脑node1上,我放到了
/opt/kafka/下 - 解压
cd /opt/kafka/ tar -zxvf zookeeper-3.4.9.tar.gz - 修改配置文件
vi /opt/kafka/zookeeper-3.4.9/conf/zoo.cfg
内容为:
tickTime=2000 dataDir=/opt/kafka/zookeeper-3.4.9/data dataLogDir=/opt/kafka/zookeeper-3.4.9/logs clientPort=2181 initLimit=5 syncLimit=2 server.1=node1:2888:3888 server.2=node2:2888:3888 server.3=node3:2888:3888 - 创建用到的文件夹
mkdir /opt/kafka/zookeeper-3.4.9/data mkdir /opt/kafka/zookeeper-3.4.9/logs - 生成myid文件
echo "1" > /opt/kafka/zookeeper-3.4.9/data/myid - 将zookeeper文件夹发到其他机器上
scp -r /opt/kafka/zookeeper-3.4.9 root@node2:/opt/kafka/zookeeper-3.4.9 scp -r /opt/kafka/zookeeper-3.4.9 root@node3:/opt/kafka/zookeeper-3.4.9 - 分别在其他机器上运行
echo "2" > /opt/kafka/zookeeper-3.4.9/data/myid
echo "3" > /opt/kafka/zookeeper-3.4.9/data/myid
要保证每一台的myid文件里的内容都不一样 - 在每一台机子上启动zk
/opt/kafka/zookeeper-3.4.9/bin/zkServer.sh start - 检查zk状况
/opt/kafka/zookeeper-3.4.9/bin/zkServer.sh status
如图类似的信息则正常开启
2.2安装kafka
- 下载kafka安装包 下载地址
- 上传安装包到一台机子上
- 解压
tar -zxvf /opt/kafka/kafka_2.10-0.10.1.0.tgz - 建立kafka日志存放文件夹
mkdir /opt/kafka/kafka_2.10-0.10.1.0/kafkalogs - 修改配置文件
vi /opt/kafka/kafka_2.10-0.10.1.0/config/server.properties
修改内容为:
`# log.dirs=/tmp/kafka-logs
log.dirs=/opt/kafka/kafka_2.10-0.10.1.0/kafkalogs
zookeeper.connect=localhost:2181
zookeeper.connect=node1:2181,node4:2181,node8:2181
`
6. 将kafka文件夹发到其他机子上
scp -r /opt/kafka/kafka_2.10-0.10.1.0 root@node2:/opt/kafka/kafka_2.10-0.10.1.0 scp -r /opt/kafka/kafka_2.10-0.10.1.0 root@node3:/opt/kafka/kafka_2.10-0.10.1.0
- 在其他机器上更改broker.id
vi /opt/kafka/kafka_2.10-0.10.1.0/config/server.properties
把broker.id改成其他数字,每台机子不能一样 - 启动kafka
cd /opt/kafka/kafka_2.10-0.10.1.0 bin/kafka-server-start.sh config/server.properties &
如图类似的信息则正常开启
三.遇到的问题及解决
问题:
A broker is already registered on the path /brokers/ids/0.
解决
配置文件里存在broker.id重复,检查一下每一台的broker.id是否与其他机器的broker.id不一样
问题
Exception in thread "main" java.lang.UnsupportedClassVersionError: kafka/Kafka : Unsupported major.minor version 51.0
解决
jdk版本不对,我用的kafka版本:2.10-0.10.1.0 对应jdk版本:1.7 不能用1.6
问题
ERROR Processor got uncaught exception. (kafka.network.Processor)
java.nio.BufferUnderflowException
解决
客户端的jar包和集群的版本号在小版本不一致,注意客户端的jar包不只要大版本一致,还要小版本完全一致,不一致的时候报的错不只这个.
