kafka集群部署与实例

先说一下，新版本的kafka集群已经不需要zookeeper集群了，但是我们还是以现在主流的kafka集群为例来说明吧

最近要给团队做一次kafka的分享会，还考虑到很多年轻成员参加，所以从基础做起吧

后续各种分析与讲解，都会基于这个集群来讲解

一、zookeeper集群搭建

tar zxvf /tools/zookeeper-3.4.14.tar.gz  -C /usr/zookeeper/ 

 

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/usr/zookeeper/data
dataLogDir=/usr/zookeeper/logs
# the port at which the clients will connect
clientPort=2181
server.1=192.168.1.31:2888:3888
server.2=192.168.1.32:2888:3888
server.3=192.168.1.33:2888:3888
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

ZooKeeper常用配置项说明

配置项	名称	ken.io 的说明
tickTime	CS通信心跳间隔	服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每间隔 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。
initLimit	LF初始通信时限	集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数
syncLimit	LF同步通信时限	集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数
dataDir	数据文件目录	Zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录里
dataLogDir	日志文件目录	Zookeeper保存日志文件的目录
clientPort	客户端连接端口	客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求
server.N	服务器名称与地址	从N开始依次为：服务编号、服务地址、LF通信端口、选举端口；例如：server.1=192.168.1.31:2888:3888

 

配置节点标识

zk01：

echo "1" > /usr/zookeeper/data/myid

zk02：

echo "2" >

/usr/zookeeper/data/myid 

zk03：

echo "3" >

/usr/zookeeper/data/myid

 

二、kafka集群搭建

 

[root@k8smaster ~]# cd /usr/zookeeper/
[root@k8smaster zookeeper]# mkdir /usr/kafka
[root@k8smaster zookeeper]# mkdir /usr/kafka/logs
[root@k8smaster zookeeper]# chmod 777 -R /usr/kafka

 

tar zxvf kafka_2.13-2.6.0.tgz  -C /usr/kafka/

 

 

log.dirs=/usr/kafka/kafka-logs

zookeeper.connect=192.168.1.31:2181,192.168.1.32:2181,192.168.1.33:2181