09 2017 档案

Kafka水位(high watermark)与leader epoch的讨论
摘要：~~~这是一篇有点长的文章，希望不会令你昏昏欲睡~~~ 本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来说，0.11之前副本备份机制主要依赖水位(或水印)的概念，而0.11采用了leader epoch来标识备份进度。后面我们会详细讨论两种机制的差异。不 阅读全文
posted @ 2017-09-21 15:40 huxihx 阅读(38727) 评论(45) 推荐(9) 编辑
【译】Apache Flink Kafka consumer
摘要：Flink提供了Kafka connector用于消费/生产Apache Kafka topic的数据。Flink的Kafka consumer集成了checkpoint机制以提供精确一次的处理语义。在具体的实现过程中，Flink不依赖于Kafka内置的消费组位移管理，而是在内部自行记录和维护con 阅读全文
posted @ 2017-09-08 14:49 huxihx 阅读(12356) 评论(3) 推荐(2) 编辑