随笔分类 - Kafka
摘要:Note: The blog post Apache Kafka Supports 200K Partitions Per Cluster contains important updates that have happened in Kafka as of version 2.0. This i
阅读全文
摘要:Q:Using kafka-python, is it possible to read a specific range of offsets for given partition(s)?I looked through the documentation of the available co
阅读全文
摘要:今天是继续对之前 kafka 集群遗留问题的查漏补缺。 扩容后对副本进行再平衡: 今天检查 kafka manager 发现了一个 __consumer_offsets 主题(消费者分区位移保存主题)的 leader 副本只被部署在了已有三节点中的两个节点上。并没有将三个 broker 上都平均分布
阅读全文
摘要:我在要完成这个需求的时候大概有两个思路。 第一种方法: 我们直接使用 Kafka 提供的 bin 工具,去把我们关心的 lag 值 show 出来然后通过代码处理一下报出来。例如: 我们可以起个远程的 cmd 脚本,定期去执行 kafka-consumer-groups.sh 工具然后通过 awk
阅读全文
摘要:在使用了最新版的 kafka-python 1.4.6 在 broker 对 topic 进行默认配置的情况下报出类似错误 这里要申明一点,在 1.4.0 以上的 kafka-python 版本使用了独立的心跳线程去上报心跳。 这里报错大概表达的意思是 无法在默认 300000ms 中完成处理操作。
阅读全文
摘要:什么是 Rebalance? Rebalance 为什么会发生? Rebalance 的过程 记得之前在一段时间密集面试的时候总会问候选人这些问题。 什么是 Rebalance 重平衡 Rebalance 就是让整个 Consumer Group 下的所有的 Consumer 实例久如何消费订阅主题
阅读全文
摘要:Kafka 中有这样一个概念消费者组,所有我们去订阅 topic 和 topic 交互的一些操作我们都是通过消费者组去交互的。 在 consumer 端设置了消费者的名字之后,该客户端可以对多个 topic 进行订阅。我们也可以通过 group-id 来识别是谁在消费消息,或者在消费哪些组的消息。
阅读全文
摘要:Kafka 提供了一个消息交付可靠性保障以及精确处理一次语义的实现。通常来说消息队列都提供多种消息语义保证 最多一次 (at most once): 消息可能会丢失,但绝不会被重复发送。 至少一次 (at least once): 消息不会丢失,但有可能被重复发送。 精确一次 (exactly on
阅读全文
摘要:之前使用 Kafka 的客户端消费者比较多一点,而且也是无脑订阅使用也没有深入了解过具体的参数。总的来说使用不够细节。 这次公司项目活动期间暴露非常多的问题,于是有了这篇文章。 首先我们来拆解一下 Kafka KafkaProducer 类给我们暴露的参数,我会依次介绍一下这些参数的功能以及效果,其
阅读全文
摘要:Kafka 真是一个异常稳定的组件,服务器上我们部署了 kafka_2.11-1.0.1 版本的 kafka 除了几次计算时间太长触发了 rebalance 以外,基本没有处理过什么奇怪的问题。 但是还是感觉 Kafka 的配置非常全面非常多,也非常容易把人搞懵逼。有时候看官方文档也就是一句话,经常
阅读全文
摘要:今天遇到一个情况使用了 Kafka-python 1.3.3 来操作读取 broker 1.0.1 版本的 kafka。出现了 rebalance 之后分配到了客户端,但是 cpu 利用率很高且无法消费的情况。 先是排查了连接方面和代码方面的问题,后来发现都没有问题就把注意力转移到了 kafka-c
阅读全文
摘要:最近用Maxwell解析MySQL的Binlog,发送到Kafka进行处理,测试的时候发现一个问题,就是Kafka的Offset严重倾斜,三个partition,其中一个的offset已经快200万了,另外两个offset才不到两百。Kafka数据倾斜的问题一般是由于生产者使用的Partition接
阅读全文