摘要: 车辆GPS流和车辆过地磅重量流union,地磅数据最多晚到5天 使用allowedLateness(5d)可以让窗户等待5天再关闭。 1、第二天flink任务重启了,迟到数据还能处理吗? 2、大部分车辆都没有称重数据,如何提前关闭这些窗口,避免过多浪费内存 设置allowedLateness(5d) 阅读全文
posted @ 2024-08-20 23:27 耗子哥信徒 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 背景说明 我在排查 https://www.cnblogs.com/xushengbin/p/18368362 问题过程中,前前后后花了超过16小时。 做了各种尝试,才搞明白原来是自己上周做了一个性能优化引入的问题。 定位问题原因时间成本很高,原因如下: 最近几天数据不一致的行数明显增多(1天200 阅读全文
posted @ 2024-08-20 09:24 耗子哥信徒 阅读(4) 评论(0) 推荐(0) 编辑