随笔分类 -  kafka

摘要:可靠性保证 • Kafka 可以保证分区消息的顺序。 如果使用同一个生产者往同一个分区写入消息,而且消息 B 在消息 A 之后写入,那么 Kafka 可以保证消息 B 的偏移量比消息 A 的偏移量大,而且消费者会先读取消息 A 再读取消息 B 。 • 只有当消息被写入分区的所有同步副本时(但不一定要 阅读全文
posted @ 2018-10-09 14:18 青青子衿J 编辑
摘要:集中讨论以下3 个有意思的话题 :• Kafka 如何进行复制;• Kafka 如何处理来自生产者和消费者的请求 ;• Kafka 的存储细节,比如文件格式和索引。 集群成员关系 Kafka 使用 Zoo keeper 来维护集群成员的信息。每个 broker 都有一个唯一标识符,这个标识符可以在配 阅读全文
posted @ 2018-09-29 14:35 青青子衿J 编辑
摘要:KafkaConsumer概念 消费者和消费者群组 Kafka 消费者从属于消费者群组。一个群组里的消费者订阅的是同一个主题,每个消费者接收主题一部分分区的消息。 往群组里增加消费者是横向伸缩消费能力的主要方式。 我们有必要为主题创建大量的分区,在负载增长时可以加入更多的消费者。不要让消费者的数量超 阅读全文
posted @ 2018-09-27 20:47 青青子衿J 编辑
摘要:不管是把 Kafka 作为消息队列、消息总线还是数据存储平台来使用 ,总是需要有一个可以往 Kafka 写入数据的生产者和一个从 Kafka 读取数据的消费者,或者一个兼具两种角色的应用程序。 开发者们可以使用 Kafka 内置的客户端 API 开发 Kafka 应用程序。 我们将从 Kafra 生 阅读全文
posted @ 2018-09-27 13:50 青青子衿J 编辑
摘要:发布与订阅消息系统 数据(消息)的发送者(发布者)不会直接把消息发送给接收者,这是发布与订阅消息系统的一个特点。发布者以某种方式对消息进行分类,接收者(订阅者)订阅它们, 以便接收特定类型的消息。发布与订阅系统一般会有一个 broker,也就是发布消息的中心点。 Kafka 登场 在0.10版本之前 阅读全文
posted @ 2018-09-26 13:09 青青子衿J 编辑