摘要：
转载自 huxihx，原文链接 Kafka水位(high watermark)与leader epoch的讨论 本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来说，0.11之前副本备份机制主要依赖水位(或水印)的概念，而0.11采用了leader epo 阅读全文
摘要：
转载自 huxihx，原文链接 关于Kafka幂等producer的讨论 众所周知，Kafka 0.11.0.0版本正式支持精确一次处理语义(exactly once semantics，下称EOS)。Kafka的EOS主要体现在3个方面： 幂等producer：保证发送单个分区的消息只会发送一次， 阅读全文
摘要：
转载自 huxihx，原文链接 Apache Flink Kafka consumer Flink提供了Kafka connector用于消费/生产Apache Kafka topic的数据。Flink的Kafka consumer集成了checkpoint机制以提供精确一次的处理语义。在具体的实现 阅读全文
摘要：
转载自 huxihx，原文链接 Kafka consumer group位移重设 本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组(consumer group)的位移。需要特别强调的是， 这是0.11.0.0版本提供的新功能且只适用于新版本con 阅读全文
摘要：
转载自 huxihx，原文链接 Kafka与Flink集成 Apache Flink是新一代的分布式流式数据处理框架，它统一的处理引擎既可以处理批数据(batch data)也可以处理流式数据(streaming data)。在实际场景中，Flink利用Apache Kafka作为上下游的输入输出十 阅读全文
摘要：
转载自 huxihx，原文链接 Kafka 0.11客户端集群管理工具AdminClient 很多用户都有直接使用程序API操作Kafka集群的需求。在0.11版本之前，kafka的服务器端代码(即添加kafka_2.**依赖)提供了AdminClient和AdminUtils可以提供部分的集群管理 阅读全文
摘要：
转载自 huxihx，原文链接 【原创】Kafka 0.11消息设计 目录 一、Kafka消息层次设计 1. v1格式 2. v2格式 二、v1消息格式 三、v2消息格式 四、测试对比 Kafka 0.11版本增加了很多新功能，包括支持事务、精确一次处理语义和幂等producer等，而实现这些新功能 阅读全文
摘要：
转载自 huxihx，原文链接 Kafka controller重设计 目录 一、Controller是做什么的 二、Controller当前设计 三、Controller组成 四、Controller当前问题 1. 需要在多线程间共享状态 2. 代码组织混乱 3. 管理类请求与数据类请求未分离 4 阅读全文
摘要：
转载自 huxihx，原文链接 Kafka producer介绍 Kafka 0.9版本正式使用Java版本的producer替换了原Scala版本的producer。本文着重讨论新版本producer的设计原理以及基本的使用方法。 目录 一、基本数据结构 1. ProducerRecord 2. 阅读全文
摘要：
转载自 huxihx，原文链接 Kafka消费组(consumer group) 一直以来都想写一点关于kafka consumer的东西，特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本，笔者也觉得时机成熟了，于是写下 阅读全文