Kafka入门
kafka是什么
Apache Kafka是一个开源分布式事件流平台,被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序。
消息队列作用
Zookeeper在kafka中作用
1:保证数据强一致性。 2:选举Leader。
Kafka常见术语
Producer: 生产者:生产数据,就是我们客户端代码,写数据的 Consumer: 消费者:负责处理kafka服务里面消息 Consumer Group/Consumers: 消费者组:就是kafka独特处理轮询还是广播。 轮询:消费者每一个处理一条,轮排 广播:一条信息,多个消费者同时处理,比如,日志,写了文本日志,还写数据库日志 Broker:就是kafka服务,一个Broker可以创建多个topic Topic:就是一个写入broker主题,一个kafka集群里面可以有多个Topic,为了区分业务和模块使用 Partition:就是把一个topic的信息分成几个区,利用多个节点,把多个分区,放在不同节点上面,实现负载均衡,kafka内部实现的。。 Replica:副本,就是防止主节点宕机,然后数据丢失了,保证高可用。。 Offset:偏移量,就是消息的主键,生产者负责写数据的时候,写进去然后偏移量,消费者消费数据,知道数据消费到什么地方,不要重复消费==
kafka偏移量解释
Kafka 偏移量(Offset)是用来标识消息在 Kafka 分区中的位置的值。每个分区都有一个唯一的偏移量序列,用于表示消息在该分区中的顺序。偏移量在 Kafka 中具有以下作用: 消息顺序保证:Kafka 的分区中的消息是有序存储的,并且每条消息都有一个唯一的偏移量。消费者可以使用偏移量来按照正确的顺序读取消息,确保消息的顺序传递和处理。 消费者位置追踪:偏移量允许消费者追踪其在分区中消费的位置。消费者可以记录其当前消费的偏移量,并在需要时从该位置继续消费。这使得消费者可以灵活地管理其消费进度,例如,重新消费特定偏移量之后的消息或者从特定偏移量开始消费。 容错和高可用性:Kafka 将偏移量存储在服务器端,以确保即使在发生故障时,消费者也可以继续消费。当消费者重新连接到 Kafka 时,它可以使用最新的偏移量信息来从中断的位置继续消费,而不会丢失任何消息。 提供精确的消费语义:Kafka 提供了多种消
本文来自博客园,作者:Raymon撸码记,转载请注明原文链接:https://www.cnblogs.com/RaymonGoGo/p/17444518.html
分类:
Kafka
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· 单线程的Redis速度为什么快?
2022-05-30 DOcker-Compose 简单使用