摘要: @ 日志存储 1. 文件目录布局 Kafka中的消息是以主题为基本单位,各个主题在逻辑上相互独立。 一个分区对应一个日志(Log),为了防止Log过大,Kafka有引入日志分段(LogSegment),将Log切分成多个LogSegment,有利于消息的维护和清理。 向Log追加消息是顺序写入,只有 阅读全文
posted @ 2021-01-13 15:54 彬在俊 阅读(210) 评论(0) 推荐(0) 编辑
摘要: @ 主题与分区 1. 主题的管理 主题的管理包括创建主题,查看主题信息,修改主题,删除主题。 1.1 创建主题 创建主题语句 bin/kafka-topics.sh --zookeeper localhost:2181/kafka --create --topic test --partitions 阅读全文
posted @ 2021-01-13 13:36 彬在俊 阅读(197) 评论(0) 推荐(0) 编辑
摘要: @ 1. 消费者 消费者Consumer负责订阅kafka中的主题。并从主题中拉取消息。每个消费者都有一个对应的消费组。 两个消费组之间互不影响,每一个分区只能被一个消费组中的一个消费者所消费。 我们可以增加(或减少)消费者的个数来提高(或降低)整体的消费能力,但是过多增加消费者个数并不能一致提高消 阅读全文
posted @ 2021-01-13 13:34 彬在俊 阅读(236) 评论(0) 推荐(0) 编辑
摘要: @ 1. 基本概念 kafka系统架构如图: Kafka 架构分为以下几个部分 Producer :消息生产者,就是向 kafka broker 发消息的客户端。 Consumer :消息消费者,向 kafka broker 取消息的客户端。 Topic :可以理解为一个队列,一个 Topic 又分 阅读全文
posted @ 2021-01-13 13:32 彬在俊 阅读(436) 评论(0) 推荐(0) 编辑