企业生产环境-麒麟V10(ARM架构)操作系统部署kafka高可用集群

安装kafka集群:
第一步:创建文件夹路径
命令:mkdir -p /var/kafka-logs /data/zk
命令:mkdir -p /usr/local/kafka

第二步:上传压缩包到 /usr/local/kafka
解压,进入解压后的目录/kafka-3.0.0/kafka_2.12-3.0.0
tar -zxvf kafka_2.12-3.0.0.tgz
cd kafka_2.12-3.0.0

第三步:修改配置文件
修改/usr/local/kafka/kafka_2.12-3.0.0/config/server.properties
vim server.properties修改以下内容:
broker.id=0 #保证每个broker唯一,第一台可以不修改默认为0,后面两台需要修改,如改为1和2
num.partitions=3 #分区数量一般与broker保持一致
listeners=PLAINTEXT://10.0.0.8:9092 #修改为本机ip
zookeeper.connect=10.0.0.8:2181,10.0.0.9:2181,10.0.0.10:2181 #配置三台服务zookeeper连接地址
host.name=10.0.0.8 #新增host.name值,分别设为不同的值(3台机器根据自己的ip设置)
log.dirs=/var/kafka-logs/ #修改log.dirs目录

修改/kafka-3.0.0/kafka_2.12-3.0.0/config/zookeeper.properties
dataDir=/data/zk #修改为自定义的目录
maxClientCnxns=0 #注释掉
#设置连接参数,添加如下配置
tickTime=2000
initLimit=10
syncLimit=5
#设置broker Id的服务地址
server.0=10.0.0.8:2888:3888
server.1=10.0.0.9:2888:3888
server.2=10.0.0.10:2888:3888
而消费者配置consumer.properites和生产者配置producer.properties根据具体业务来进行调配

第四步:
三台服务器分别执行如下命令:myid的值取决于broker.id
echo 0 > /data/zk/myid
echo 1 > /data/zk/myid
echo 2 > /data/zk/myid
第五步:配置hosts文件
查看主机名命令:hostname
10.0.0.8 ecs-ubiinf6as0wpbx
10.0.0.9 ecs-8k9rxzfxvsuyp2
10.0.010 ecs-bodhwf981mt5r9
命令:vim /etc/hosts
注释掉本机的,加入以上三条信息

第六步:启动
kafka启动时先启动zookeeper,再启动kafka;关闭时相反,先关闭kafka,再关闭zookeeper
启动zookeeper:
./zookeeper-server-start.sh /usr/local/kafka/kafka_2.12-3.0.0/config/zookeeper.properties &

启动kafka:
./kafka-server-start.sh /usr/local/kafka/kafka_2.12-3.0.0/config/server.properties &
查看日志:
tail -f /usr/local/kafka/kafka_2.12-3.0.0/logs/server.log

Kafka集群配置成功,且无集群节点连接异常报错

第七步:放行端口
如集群配置完成后开启防火墙报节点无法连接,需做放行端口配置:
放行端口:
firewall-cmd --zone=public --add-port=2888/tcp --permanent 放行2888端口
firewall-cmd --zone=public --add-port=3888/tcp --permanent 放行3888端口
firewall-cmd --zone=public --add-port=9092/tcp --permanent 放行9092端口

firewall-cmd --reload #重新载入 返回 success 代表成功

firewall-cmd --zone=public --query-port=2888/tcp 查看 返回 yes 代表开启成功
firewall-cmd --zone=public --query-port=3888/tcp 查看 返回 yes 代表开启成功
firewall-cmd --zone=public --query-port=9092/tcp 查看 返回 yes 代表开启成功

posted @ 2024-06-02 17:21  Linux运维技术栈  阅读(16)  评论(0编辑  收藏  举报