BYRHuangQiang

摘要： 1.HighLevelApi High Level Api是多线程的应用程序，以Topic的Partition数量为中心。消费的规则如下： 一个partition只能被同一个ConsumersGroup的一个线程所消费. 线程数小于partition数，某些线程会消费多个partition. 线程数 阅读全文

摘要： 摘要 本文主要介绍了Kafka High Level Consumer，Consumer Group，Consumer Rebalance，Low Level Consumer实现的语义，以及适用场景。以及未来版本中对High Level Consumer的重新设计–使用Consumer Coord 阅读全文

摘要： 1主要的设计元素 Kafka之所以和其它绝大多数信息系统不同，是因为下面这几个为数不多的比较重要的设计决策： 1. Kafka在设计之时为就将持久化消息作为通常的使用情况进行了考虑。 2. 主要的设计约束是吞吐量而不是功能。 3. 有关哪些数据已经被使用了的状态信息保存为数据使用者（consumer 阅读全文

摘要： 1. 操作命令 2. 原理 topic创建主要分为两个部分：命令行部分+后台(controller)逻辑部分，如下图所示。 主要的思想就是后台逻辑会监听zookeeper下对应的目录节点，一旦发起topic创建命令，该命令会创建新的数据节点从而触发后台的创建逻辑。 leader选举：简单来说就是选取 阅读全文

摘要： 本文主要介绍了Kafka High level的代码架构和主要的类。 这张图是0.8版本的架构 Boker 架构 1 network layer Kafka使用NIO自己实现了网络层的代码， 而不是采用netty, mina等第三方的网络框架。从性能上来讲，这一块的代码不是性能的瓶颈。 它采用IO多 阅读全文

摘要： Kafka的普及在很大程度上归功于它的设计和操作简单，如何自动调优Kafka副本的工作，挑战之一：如何避免follower进入和退出同步副本列表(即ISR)。如果某些topic的部分partition长期处于“under replicated”状态，会增加数据丢失的概率。Kafka通过“多副本机制” 阅读全文