kafka的集群搭建

1.搭建zookeeper集群

下载地址：

http://mirror.bit.edu.cn/apache/zookeeper/

JDK 环境最好1.8

1.创建/zookeeper目录（1-4三台都需要）

mkdir /zookeeper

2.解压：

tar -xvf apache-zookeeper-3.6.2.tar

3.修改配置文件zoo_sample.cfg

/zookeeper/apache-zookeeper-3.6.2/conf

cp zoo_sample.cfg   zoo_sample.cfg.old

修改地方：

dataDir=/zookeeper/data

clientPort=2181

server.0=192.168.56.2:2888:3888

server.1=192.168.56.3:2888:3888

server.2=192.168.56.4:2888:3888

 

　①、tickTime：基本事件单元，这个时间是作为Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，每隔tickTime时间就会发送一个心跳；最小 的session过期时间为2倍tickTime

　　②、dataDir：存储内存中数据库快照的位置，除非另有说明，否则指向数据库更新的事务日志。注意：应该谨慎的选择日志存放的位置，使用专用的日志存储设备能够大大提高系统的性能，如果将日志存储在比较繁忙的存储设备上，那么将会很大程度上影像系统性能。

　　③、client：监听客户端连接的端口。

　　④、initLimit：允许follower连接并同步到Leader的初始化连接时间，以tickTime为单位。当初始化连接时间超过该值，则表示连接失败。

　　⑤、syncLimit：表示Leader与Follower之间发送消息时，请求和应答时间长度。如果follower在设置时间内不能与leader通信，那么此follower将会被丢弃。

　　⑥、server.A=B:C:D

　　　　A：其中 A 是一个数字，表示这个是服务器的编号；

　　　　B：是这个服务器的 ip 地址；

　　　　C：Leader选举的端口；

　　　　D：Zookeeper服务器之间的通信端口。

　　我们需要修改的第一个是 dataDir ,在指定的位置处创建好目录。

　　第二个需要新增的是 server.A=B:C:D 配置，其中 A 对应下面我们即将介绍的myid 文件。B是集群的各个IP地址，C:D 是端口配置。

 

4.创建myid文件（在datadir）

那么就必须在 192.168.56.2机器的的 /zookeeper/data 目录下创建 myid 文件，然后在该文件中写上 0 即可。

在56.3写上1（56.4写2）

 

5.陪着环境变量

#set zookeeper environment

export ZK_HOME=/zookeeper/apache-zookeeper-3.6.2

export PATH=$PATH:$ZK_HOME/bin

 

6.启动服务（三台都需要）

zkServer.sh start

zkServer.sh stop

zkServer.sh restart

 

7.查看集群状态

zkServer.sh status

 

8.下载kafka：http://kafka.apache.org/downloads
上传到三台机器，然后在创建目录
9.修改配置文件server.properties
broker.id=0
listeners=PLAINTEXT://192.168.56.2:9092
zookeeper.connect=192.168.56.2:2181,192.168.56.3:2181,192.168.56.4:2181
　　第一个 broker.id 后面的值和搭建 zookeeper 集群中 myid 一样，是一个集群中唯一的数，要求是正数。需要保证kafka集群中设置的都不一样。
　　第二个设置监听器，后面的 IP 地址对应当前的 ip 地址。
　　第三个是配置 zookeeper 集群的 IP 地址。
10.启动KAFKA
./kafka-server-start.sh /kafka/kafka_2.12-2.6.0/config/server.properties &
11.创建topic
我们通过创建一个名字为 haohao，partitions为3，replication为3的topic。进入到bin 目录下，执行如下命令：
./kafka-topics.sh --create --zookeeper 192.168.56.2:2181,192.168.56.3:2181,192.168.56.4:2181 --partitions 3 --replication-factor 3 --topic haohao
12.向topic发送消息
./kafka-console-producer.sh --broker-list 192.168.56.2:9092,192.168.56.3:9092,192.168.56.4:9092 --topic haohao
验证；
cd /kafka/kafka_2.12-2.6.0/bin/
./kafka-console-consumer.sh --bootstrap-server 192.168.56.3:9092 --topic haohao --from-beginning