stream引发的bug 之 凭空消失的kafka消费数据

最近在一个批次消费kafka数据的场景里。 上游推送100w条数据。 下游消费了97万条。无任何报错

于是围绕着kafka配置一顿鼓捣。
搞不定。
又在想是不是报错了,但是异常被我代码吞了。检查并无此情况。

当我在想我可能入错行,打算回家养猪的时候。
有一个代码块映入眼帘

好吧。。。
使用线程安全的list或者去掉并行流。
这里测试发现100万数据速度直接使用单线程流式处理就能达到预期。。。
ok 删掉并行

ps: 不是标题党,真的和 kafka有那么一点关系。。。真的不是蹭它的关键字

posted @ 2023-03-07 15:34  博文43231  阅读(34)  评论(0编辑  收藏  举报