摘要：
kafka单条消息过大导致生产者程序发送到broker失败：kafka.common.MessageSizeTooLargeException 今天碰到一个问题，kafka生产者罢工停止生产了，而且生产者的内存急剧升高，导致程序几次重启。查看日志，才发现生产者程序爆出异常kafka.common.M 阅读全文
摘要：
背景：Kafka集群在一个192.168.0.x网段的，而我们的生产者在192.168.17.x网段的一台机器上。故当生产者发送消息给Kafka时，无法将消息发送过去。 错误：11:21:13,936 ERROR KafkaProducer - Batch containing 11 record( 阅读全文
摘要：
很多同学可能无法通过kafka上面自带的脚本kafka-server-stop.sh来停掉broker。这个主要原因是该脚本找不到kafka的PID。 本节主要就介绍如何解决这种问题。解决办法： 1）修改前脚本内容： 2）修改后脚本内容： 参考：https://kaimingwan.com/post 阅读全文
摘要：
1）如何定位到是写入端丢失数据的，而不是YDB消费者端丢失数据的？ kafka支持数据的重新回放的功能(换个消费group)，我们清空了ydb的所有数据，重新用kafka回放了原先的数据。 如果是在ydb消费端丢失数据，那么第二遍回放数据的结果，跟第一次消费的数据在条数上肯定会有区别,完全一模一样的 阅读全文