随笔分类 -  Kafka

摘要:Note: The blog post Apache Kafka Supports 200K Partitions Per Cluster contains important updates that have happened in Kafka as of version 2.0. This i 阅读全文
posted @ 2020-06-03 18:17 piperck 阅读(290) 评论(0) 推荐(0) 编辑
摘要:Q:Using kafka-python, is it possible to read a specific range of offsets for given partition(s)?I looked through the documentation of the available co 阅读全文
posted @ 2020-04-14 15:25 piperck 阅读(2324) 评论(0) 推荐(0) 编辑
摘要:今天是继续对之前 kafka 集群遗留问题的查漏补缺。 扩容后对副本进行再平衡: 今天检查 kafka manager 发现了一个 __consumer_offsets 主题(消费者分区位移保存主题)的 leader 副本只被部署在了已有三节点中的两个节点上。并没有将三个 broker 上都平均分布 阅读全文
posted @ 2020-01-09 17:49 piperck 阅读(3808) 评论(0) 推荐(0) 编辑
摘要:我在要完成这个需求的时候大概有两个思路。 第一种方法: 我们直接使用 Kafka 提供的 bin 工具,去把我们关心的 lag 值 show 出来然后通过代码处理一下报出来。例如: 我们可以起个远程的 cmd 脚本,定期去执行 kafka-consumer-groups.sh 工具然后通过 awk 阅读全文
posted @ 2020-01-08 17:50 piperck 阅读(5748) 评论(0) 推荐(1) 编辑
摘要:在使用了最新版的 kafka-python 1.4.6 在 broker 对 topic 进行默认配置的情况下报出类似错误 这里要申明一点,在 1.4.0 以上的 kafka-python 版本使用了独立的心跳线程去上报心跳。 这里报错大概表达的意思是 无法在默认 300000ms 中完成处理操作。 阅读全文
posted @ 2019-08-18 17:06 piperck 阅读(3540) 评论(3) 推荐(0) 编辑
摘要:什么是 Rebalance? Rebalance 为什么会发生? Rebalance 的过程 记得之前在一段时间密集面试的时候总会问候选人这些问题。 什么是 Rebalance 重平衡 Rebalance 就是让整个 Consumer Group 下的所有的 Consumer 实例久如何消费订阅主题 阅读全文
posted @ 2019-07-17 16:39 piperck 阅读(4148) 评论(0) 推荐(0) 编辑
摘要:Kafka 中有这样一个概念消费者组,所有我们去订阅 topic 和 topic 交互的一些操作我们都是通过消费者组去交互的。 在 consumer 端设置了消费者的名字之后,该客户端可以对多个 topic 进行订阅。我们也可以通过 group-id 来识别是谁在消费消息,或者在消费哪些组的消息。 阅读全文
posted @ 2019-07-15 15:12 piperck 阅读(867) 评论(0) 推荐(0) 编辑
摘要:Kafka 提供了一个消息交付可靠性保障以及精确处理一次语义的实现。通常来说消息队列都提供多种消息语义保证 最多一次 (at most once): 消息可能会丢失,但绝不会被重复发送。 至少一次 (at least once): 消息不会丢失,但有可能被重复发送。 精确一次 (exactly on 阅读全文
posted @ 2019-07-04 20:48 piperck 阅读(1202) 评论(0) 推荐(0) 编辑
摘要:之前使用 Kafka 的客户端消费者比较多一点,而且也是无脑订阅使用也没有深入了解过具体的参数。总的来说使用不够细节。 这次公司项目活动期间暴露非常多的问题,于是有了这篇文章。 首先我们来拆解一下 Kafka KafkaProducer 类给我们暴露的参数,我会依次介绍一下这些参数的功能以及效果,其 阅读全文
posted @ 2019-07-01 19:13 piperck 阅读(751) 评论(0) 推荐(1) 编辑
摘要:Kafka 真是一个异常稳定的组件,服务器上我们部署了 kafka_2.11-1.0.1 版本的 kafka 除了几次计算时间太长触发了 rebalance 以外,基本没有处理过什么奇怪的问题。 但是还是感觉 Kafka 的配置非常全面非常多,也非常容易把人搞懵逼。有时候看官方文档也就是一句话,经常 阅读全文
posted @ 2019-06-18 19:44 piperck 阅读(1586) 评论(0) 推荐(0) 编辑
摘要:今天遇到一个情况使用了 Kafka-python 1.3.3 来操作读取 broker 1.0.1 版本的 kafka。出现了 rebalance 之后分配到了客户端,但是 cpu 利用率很高且无法消费的情况。 先是排查了连接方面和代码方面的问题,后来发现都没有问题就把注意力转移到了 kafka-c 阅读全文
posted @ 2019-01-14 10:56 piperck 阅读(1950) 评论(5) 推荐(0) 编辑
摘要:最近用Maxwell解析MySQL的Binlog,发送到Kafka进行处理,测试的时候发现一个问题,就是Kafka的Offset严重倾斜,三个partition,其中一个的offset已经快200万了,另外两个offset才不到两百。Kafka数据倾斜的问题一般是由于生产者使用的Partition接 阅读全文
posted @ 2018-08-24 17:52 piperck 阅读(2499) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示