Kafka入门

kafka是什么

Apache Kafka是一个开源分布式事件流平台,被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序。

消息队列作用

Zookeeper在kafka中作用

1:保证数据强一致性。
2:选举Leader。

Kafka常见术语

Producer:
生产者:生产数据,就是我们客户端代码,写数据的
Consumer:
消费者:负责处理kafka服务里面消息
Consumer Group/Consumers:
消费者组:就是kafka独特处理轮询还是广播。
轮询:消费者每一个处理一条,轮排
广播:一条信息,多个消费者同时处理,比如,日志,写了文本日志,还写数据库日志
Broker:就是kafka服务,一个Broker可以创建多个topic
Topic:就是一个写入broker主题,一个kafka集群里面可以有多个Topic,为了区分业务和模块使用
Partition:就是把一个topic的信息分成几个区,利用多个节点,把多个分区,放在不同节点上面,实现负载均衡,kafka内部实现的。。
Replica:副本,就是防止主节点宕机,然后数据丢失了,保证高可用。。
Offset:偏移量,就是消息的主键,生产者负责写数据的时候,写进去然后偏移量,消费者消费数据,知道数据消费到什么地方,不要重复消费==

kafka偏移量解释

Kafka 偏移量(Offset)是用来标识消息在 Kafka 分区中的位置的值。每个分区都有一个唯一的偏移量序列,用于表示消息在该分区中的顺序。偏移量在 Kafka 中具有以下作用:
消息顺序保证:Kafka 的分区中的消息是有序存储的,并且每条消息都有一个唯一的偏移量。消费者可以使用偏移量来按照正确的顺序读取消息,确保消息的顺序传递和处理。
消费者位置追踪:偏移量允许消费者追踪其在分区中消费的位置。消费者可以记录其当前消费的偏移量,并在需要时从该位置继续消费。这使得消费者可以灵活地管理其消费进度,例如,重新消费特定偏移量之后的消息或者从特定偏移量开始消费。
容错和高可用性:Kafka 将偏移量存储在服务器端,以确保即使在发生故障时,消费者也可以继续消费。当消费者重新连接到 Kafka 时,它可以使用最新的偏移量信息来从中断的位置继续消费,而不会丢失任何消息。
提供精确的消费语义:Kafka 提供了多种消
posted @   Raymon撸码记  阅读(6)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· 单线程的Redis速度为什么快?
历史上的今天:
2022-05-30 DOcker-Compose 简单使用
点击右上角即可分享
微信分享提示