该文被密码保护。 阅读全文
摘要:
kafka 生产者压缩 在kafka 中,压缩可能发生在两个地方:生产正端和消费者端。 ==一般遵循Producer 端压缩、Broker 端保持、Consumer 端解压缩。== 生产者端-压缩 生产者程序中配置 compression.type 参数即表示启用指定类型的压缩算法 Properti 阅读全文
摘要:
生产者发送消息的分区策略 分区是实现负载均衡以及高吞吐量的关键。 Kafka为了增加系统的伸缩性(Scalability),引入了分区(Partitioning)的概念。 Kafka 中的分区机制指的是将每个主题划分成多个分区(Partition),每个分区是一组有序的消息日志。主题下的每条消息只会 阅读全文
摘要:
消费者 消费者和消费者组 Kafka消费者从属于消费者群组。一个群组里的消费者订阅的是同一个主题,每个消费者接收主题一部分分区的消息。 消费者组1和消费者组2可以同时消费所有消息,互不影响。 再平衡: 分区的所有权从一个消费者转移到另一个消费者,这样的行为被称为再均衡。 消费者通过向被指派为群组协调 阅读全文