kafka学习
1.安装
下载安装包
wget --no-check-certificate https://dlcdn.apache.org/kafka/3.1.0/kafka_2.12-3.1.0.tgz
解压缩
tar -zxvf kafka_2.12-3.1.0.gz
进入解压后的kafka文件,创建logs文件夹
mkdir logs
配置 修改 config/server.properties文件
#配置集群
zookeeper.connect=wl:2181,wyp:2181,zbc:2181
#配置数据路径
log.dirs=/home/wl/kafka_2.12-3.1.0/logs
配置环境变量并生效
vim /etc/profile
#KAFKA_HOME
export KAFKA_HOME=/home/wl/kafka_2.12-3.1.0
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile
将文件复制到其他两个集群中并同样配置环境变量
scp -r /home/wl/kafka_2.12-3.1.0 root@zbc:/home/wl/
scp -r /home/wl/kafka_2.12-3.1.0 root@wyp:/home/wl/
修改 config/server.properties文件中的broker.id，使其唯一就行
三个服务器分别开启kafka
kafka-server-start.sh -daemon config/server.properties
2.使用kafka
kafka集群架构图
创建主题
bin/kafka-topics.sh --create --topic test-topic --bootstrap-server wl:9092 --replication-factor 1 --partitions 4
- --partitions 4表示4个分区
- --replication-factor 1 表示一个副本
- --topic test-topic test-topic 表示主题名称
查看主题
bin/kafka-topics.sh --list --bootstrap-server wl:9092
查看某个Topic的详情
bin/kafka-topics.sh --bootstrap-server localhost:2181 --describe --topic test-topic
删除主题
bin/kafka-topics.sh --delete --topic test-topic --bootstrap-server wl:9092
发送消息
bin/kafka-console-producer.sh --broker-list wl:9092 --topic test
消费消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic
3.Kafka原理架构
1.工作流程
kafka的消息是以Topic(主题)进行分类的,但是Topic只是逻辑概念,partitions是物理概念 ,是真实存放的
打开分区,每个partitions都会对应一个log文件,这个文件就是存放producer生产的数据。
存储结构如下
index文件存储索引信息,用于对应数据文件中 message 的物理偏移地址，log文件主要存放大量数据
2.数据可靠性的保证
ack应答
为了确保 topic里面的每个partition 都能收到 producer(生产者)发送的数据,在partition收到数据后就会向producer发送ack(acknowledgement 确认收到)
副本同步策略
| 策略 | 优点 | 缺点 |
|---|---|---|
| 半数以上完成同步,发送ack | 延迟低 | 选举新的 leader 时，容忍 n 台 节点的故障，需要 2n+1 个副 本 |
| 全部同步完成，发送ack | 选举新的 leader 时，容忍 n 台 节点的故障，需要 n+1 个副 本 | 延迟高 |
kafka采用的是第二种方式，并且使用了ISR来解决以下问题：
leader 收到数据，所有 follower 都开始同步数据， 但有一个 follower，因为某种故障，迟迟不能与 leader 进行同步，那 leader 就要一直等下去， 直到它完成同步，才能发送 ack。
Leader 维护了一个动态的 in-sync replica set (ISR)，意为和 leader 保持同步的 follower 集 合。当 ISR 中的 follower 完成数据的同步之后，leader 就会给 follower 发送 ack。如果 follower 长时间未向 leader 同步数据，则该 follower 将被踢出 ISR，该时间阈值由 replica.lag.time.max.ms 参数设定。Leader 发生故障之后，就会从 ISR 中选举新的 leader。
当acks的值为0或1的时候可能会在成丢失数据，为-1的时候可能是重复数据
数据的一致性
当leader挂掉时,在剩下的follower选取leader的同时，leader又复活了，此时会造成消费者数据不一致的情况
leader 发生故障之后，会从 ISR 中选出一个新的 leader，之后，为保证多个副本之间的 数据一致性，其余的 follower 会先将各自的 log 文件高于 HW 的部分截掉，然后从新的 leader 同步数据。
4.kafka使用 抛出异常
原因如下
Newer versions(2.2 and above) of Kafka no longer require ZooKeeper connection string ie --zookeeper localhost:2181 and throw Exception in thread "main" joptsimple.UnrecognizedOptionException: zookeeper is not a recognized option while creating Kafka topic. Instead, add Kafka Broker --bootstrap-server localhost:9092 connection string.
