摘要: 消费者连接器通过再平衡操作分配到的分区相当于t作任务,任务需要由工作线程完成。 生产者要写消息到服务端的分区,这是通过Sender工作线程完成的,消费者要读服务端分区的消息则通过拉取管理器的拉取线程完成。 拉取线程管理器 消费者的拉取管理器( ConsumerFetcherManager )管理了当 阅读全文
posted @ 2018-10-22 16:44 青青子衿J 阅读(1429) 评论(0) 推荐(0) 编辑
摘要: 消费者再平衡操作 消费者连接器的核心处理逻辑是再平衡操作,它起了承上启下的作用。初始化消费者连接器只是“创建了队列和消息流”,再平衡操作会“为消费者重新分配分区” 。 只有为消费者分配了分区,拉取线程才会开始拉取分区的消息 。因为分区要被重新分配,分区的所有者都会发生变化 ,所以在还没有重新分配分区 阅读全文
posted @ 2018-10-22 13:12 青青子衿J 阅读(533) 评论(0) 推荐(0) 编辑
摘要: 1. 使用消费组实现消息队列的两种模式 分布式的消息系统Kafka支持多个生产者和多个消费者,生产者可以将消息发布到集群中不同节点的不同分区上;消费者也可以消费集群中多个节点的多个分区上的消息 。 写消息时,多个生产者可以写到同一个分区 。 读消息时,如果多个消费者同时读取一个分区,为了保证将日志文 阅读全文
posted @ 2018-10-22 10:09 青青子衿J 阅读(614) 评论(0) 推荐(0) 编辑