2017年2月6日

Kafka 0.8源码分析—ZookeeperConsumerConnector

摘要: 1.HighLevelApi High Level Api是多线程的应用程序,以Topic的Partition数量为中心。消费的规则如下: 一个partition只能被同一个ConsumersGroup的一个线程所消费. 线程数小于partition数,某些线程会消费多个partition. 线程数 阅读全文

posted @ 2017-02-06 23:04 BYRHuangQiang 阅读(3184) 评论(0) 推荐(0) 编辑

Kafka 0.8 Consumer设计解析

摘要: 摘要 本文主要介绍了Kafka High Level Consumer,Consumer Group,Consumer Rebalance,Low Level Consumer实现的语义,以及适用场景。以及未来版本中对High Level Consumer的重新设计–使用Consumer Coord 阅读全文

posted @ 2017-02-06 21:17 BYRHuangQiang 阅读(804) 评论(0) 推荐(0) 编辑

Kafka 0.8翻译官网精华.md

摘要: 1主要的设计元素 Kafka之所以和其它绝大多数信息系统不同,是因为下面这几个为数不多的比较重要的设计决策: 1. Kafka在设计之时为就将持久化消息作为通常的使用情况进行了考虑。 2. 主要的设计约束是吞吐量而不是功能。 3. 有关哪些数据已经被使用了的状态信息保存为数据使用者(consumer 阅读全文

posted @ 2017-02-06 14:50 BYRHuangQiang 阅读(312) 评论(0) 推荐(0) 编辑

Kafka 0.8 如何创建topic

摘要: 1. 操作命令 2. 原理 topic创建主要分为两个部分:命令行部分+后台(controller)逻辑部分,如下图所示。 主要的思想就是后台逻辑会监听zookeeper下对应的目录节点,一旦发起topic创建命令,该命令会创建新的数据节点从而触发后台的创建逻辑。 leader选举:简单来说就是选取 阅读全文

posted @ 2017-02-06 14:39 BYRHuangQiang 阅读(689) 评论(0) 推荐(0) 编辑

Kafka 0.8 sever:源代码High level分析

摘要: 本文主要介绍了Kafka High level的代码架构和主要的类。 这张图是0.8版本的架构 Boker 架构 1 network layer Kafka使用NIO自己实现了网络层的代码, 而不是采用netty, mina等第三方的网络框架。从性能上来讲,这一块的代码不是性能的瓶颈。 它采用IO多 阅读全文

posted @ 2017-02-06 10:10 BYRHuangQiang 阅读(772) 评论(0) 推荐(0) 编辑

Kafka 0.8 副本同步机制理解

摘要: Kafka的普及在很大程度上归功于它的设计和操作简单,如何自动调优Kafka副本的工作,挑战之一:如何避免follower进入和退出同步副本列表(即ISR)。如果某些topic的部分partition长期处于“under replicated”状态,会增加数据丢失的概率。Kafka通过“多副本机制” 阅读全文

posted @ 2017-02-06 09:44 BYRHuangQiang 阅读(2174) 评论(0) 推荐(0) 编辑

导航