Kafka 报错: Error Uncaught exception in scheduled task 'flush-log'

Error Uncaught exception in scheduled task 'flush-log' (kafka.utils.kafkaScheduler)

项目中遇到的问题为会存在多个线程向同一个topic发送数据,会偶发性出现此错误

参考https://github.com/apache/kafka/pull/4663文档,发现可能是kafka flush日志时,发生了删除操作,这时候找不到对应的刷新文件,在重复flush几次后,致使kafka挂掉

log.segment.delete.delay.ms=60000

log.flush.interval.ms=30000

通过以上配置两个参数,致使文件在删除之前会保存60s,这时候文件flush频率为30s一次,保证flush频率小于文件删除频率即可,理论上这样是可以解释的通的,目前正在测试,已经过去12个小时,还未发生变化,在配置这两个参数之前,触发Error的频率大概在4小时一次。

 

posted @ 2020-08-05 10:45  eros_token  阅读(1191)  评论(0编辑  收藏  举报