初识Kafka

本文将从以下五个方面初识Kafka:

一. Kafka组件介绍

二. 消费者消费的条件

三. Kafka与ActiveMQ的区别

四. Kafka如何保证数据不丢失

五. Kafka的深入学习

 

一. Kafka组件介绍

1.producer 生产者 会把数据源写入kafka集群中

2.broker kafak服务器, 一个broker就是kafka集群的节点,可以存放数据

3.topic 消息的主题, 是一类消息的集合

4.partition 分区概念 一个topic有多个分区,提高并行处理的效率

5.replication 副本 一个分区可以设置多个副本,副本保证数据的安全性

6.segment 每一个分区数据都有很多个segment

   一个segment都有2个文件: ①.log文件(是topic数据存储的文件) ②.index文件(是.log文件索引文件,快速定位某一分区上次消息消费到哪里了,然后往后继续消费)

7.zookeeper 通过zk保存kafka集群元数据信息, 这些元数据信息包括: kafka集群地址,有哪些topic,以及每一个topic的分区数等信息.

8.consumer 消费者 消费者去kafka集群中拉取数据然后进行消费

9.offset 消息的偏移量 保存消息消费到哪里了,把消息消费的数据记录.当前这个记录信息叫做offset偏移量

消息偏移量保存有2种方式: ① 由kafka自己去保存 ② 由zookeeper去保存

二. 消费者消费的条件

1. 消费的topic

2. Zookeeper集群

3. 消息offset的偏移量, kafka集群可以自己记录,不用手动处理

三. Kafka与ActiveMQ的区别

四. Kafka如何保证数据不丢失

Kafka从以下三个方面来保证数据的不丢失

1. Producer

① ack机制-同步模式: 每次发送一条数据,每条数据都需要确认,效率比较低,但是数据安全

producer.type=sync （同步模式）
request.required.acks=1

② ack机制-异步模式: 通过buffer来进行控制数据的发送，有两个值来进行控制，时间阈值与消息的数量阈值，如果buffer满了数据还没有发送出去，若设置的是立即清理模式，风险很大，一定要设置为阻塞模式。

2.Broker

一个topic有很多个分区,每一个分区有很多个副本,可以通过副本保证数据的安全性

3.Consumer

针对每一个消费者在消费数据的时候,都会把当前消费的偏移量保存在kafka集群或者zookeeper,当前消费者挂了,再次重启,重启之后可以读取上一次消费的偏移量,然后继续消费

 

五. 关于Kafka的深入学习

关于Kafka深入学习视频, 如Kafka领导选举, offset管理, Stream接口, 高性能之道, 监控运维, 性能测试等,

请关注个人微信公众号: 求学之旅, 发送Kafka, 即可收获Kafka学习视频大礼包一枚。