安装kafka
1.前置条件
JDK1.8+
配置主机名和IP映射
2.ZK安装
-
单机
1.安装目录：/usr/local/zookeeper
2.apache-zookeeper-3.6.3-bin.tar.gz上传到指定目录并解压
3.复制配置文件
cp zoo_sample.cfg zoo.cfg
4.配置文件详解
// Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。
tickTime=2000
//集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量）。集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量）。
initLimit=10
//集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数（tickTime的数量）。
syncLimit=5
//Zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录里。各个日志文件介绍：https://www.cnblogs.com/jxwch/p/6526271.html
dataDir=/tmp/zookeeper
//Zookeeper保存日志文件的目录。
dataLogDir
//客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。
clientPort=2181
//服务器名称与地址：集群信息（服务器编号，服务器地址，LF通信端口，选举端口）
server.N=YYY:A:B
其中N表示服务器编号，YYY表示服务器的IP地址，A为LF通信端口，表示该服务器与集群中的leader交换的信息的端口。B为选举端口，表示选举新leader时服务器间相互通信的端口（当leader挂掉时，其余服务器会相互通信，选择出新的leader）。一般来说，集群中每个服务器的A端口都是一样，每个服务器的B端口也是一样。但是当所采用的为伪集群时，IP地址都一样，只能时A端口和B端口不一样。
下面是一个非伪集群的例子：
server.0=233.34.9.144:2008:6008
server.1=233.34.9.145:2008:6008
server.2=233.34.9.146:2008:6008
下面是一个伪集群的例子：
server.1=127.0.0.1:2007:3007
server.2=127.0.0.1:2008:3008
server.3=127.0.0.1:2009:30095.基本操作
启动：bin/zkServer.sh start conf/zoo.cfg
状态：bin/zkServer.sh status conf/zoo.cfg
停止：bin/zkServer.sh stop conf/zoo.cfg
重启：bin/zkServer.sh restart conf/zoo.cfg
-
集群
1.使用伪集群安装，将上述zoo.cfg配置文件复制3份
2.修改配置文件
dataDir：修改为对应目录
clientPort：修改为对应端口
添加如下配置：
server.1=127.0.0.1:2007:3007
server.2=127.0.0.1:2008:3008
server.3=127.0.0.1:2009:30093.为各个节点创建myid文件,文件所在目录为配置文件dataDir所配置的目录
vim dataDir/myid
里面的值与server.1对应
4.基本操作
启动：bin/zkServer.sh start conf/zoo.cfg
状态：bin/zkServer.sh status conf/zoo.cfg
停止：bin/zkServer.sh stop conf/zoo.cfg
重启：bin/zkServer.sh restart conf/zoo.cfg
3.Kafka安装
- 集群
1.安装目录：/usr/local/kafka
2.kafka_2.13-3.1.0.tgz上传到指定目录并解压
3.修改配置文件 server.properties
broker.id=1
port=9092
listeners=PLAINTEXT://主机名:9092
log.dirs=/usr/local/software/kafka/kafka1/data
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183
4.基本操作
启动：bin/kafka-server-start.sh -daemon config/server.properties
停止：bin/kafka-server-stop.sh
4.使用脚本进行topic管理
1.创建topic：bin/kafka-topics.sh --bootstrap-server ip:port,ip:port,ip:port --create --topic topic01 --partitions 3 --replication-factor 3
2.查看topic列表：bin/kafka-topics.sh --bootstrap-server ip:port,ip:port,ip:port --list
3.详情：bin/kafka-topics.sh --bootstrap-server ip:port,ip:port,ip:port --describe --topic topic01
4.修改：
先创建：bin/kafka-topics.sh --bootstrap-server ip:port,ip:port,ip:port --create --topic topic02 --partitions 1 --replication-factor 1
修改分区数量：bin/kafka-topics.sh --bootstrap-server ip:port,ip:port,ip:port --alter --topic topic02 --partitions 3
5.删除：bin/kafka-topics.sh --bootstrap-server ip:port,ip:port,ip:port --delete --topic topic02
6.订阅：bin/kafka-console-consumer.sh --bootstrap-server ip:port,ip:port,ip:port --topic topic01 --group g1 --property print.key=true --property print.value=true --property key.separator=,
7.生产：bin/kafka-console-producer.sh --bootstrap-server ip:port,ip:port,ip:port --topic topic01
8.消费组：
查看：bin/kafka-consumer-groups.sh --bootstrap-server ip:port,ip:port,ip:port --list g1
查看详情：bin/kafka-consumer-groups.sh --bootstrap-server ip:port,ip:port,ip:port --describe --group g1
