【kafka】基础介绍

@

目录

写在前面

  • 相关博文
  • 个人博客首页
  • 免责声明：仅供学习交流使用！开源框架可能存在的风险和相关后果将完全由用户自行承担，本人不承担任何法律责任。

kafka 基础介绍

topic（主题） 类似于数据库中的表

将相同的消息存储在同一个topic（主题）中；
数据库中的表是结构的，kafka 是半结构化的，特殊场景下可以将不同的消息存储在同一个 topic（主题）中。

partition （分区）

  • topic（主题）可以包含多个 partition （分区）
  • partition（分区）是分布式的基础；分区使kafka具有拓展性；不同的分区可以存储在不同的节点上。
  • 消息存储在partition（分区）中后，消息不可变更
  • 存储的时候会为每个消息分配一个offset（偏移量），可以记录每条消息的记录，通过offset进行提取，没有办法对消息进行检索和查询
  • offset（偏移量）在一个 partition （分区）中是唯一的。不同的 partition （分区）可以相同
  • kafka中的消息 record 是键值对的形式保存。如果不指定key，key为空，kafka会以轮询的方式写入到 partition （分区）中。
  • 指定消息，相同key 保存在同一个分区

kafka data replication 复制

replication-factor 复制因子 数量就是 副本的数量

  • leader: 写入数据、读写数据
  • follower：同步 leader 中的数据
  • ISR ：leader follower and in-sync replica list 异步副本列表

kafka broke 消息代理

kafka cluster 由多个 broke 组成。
broke 负责数据的读取，并将数据写入到磁盘中，

参考资料

posted @ 2023-11-21 11:13  Nones  阅读(12)  评论(0)  编辑  收藏  举报