08 2024 档案

几个场景下用flink如何解决的思考

摘要：车辆GPS流和车辆过地磅重量流union，地磅数据最多晚到5天使用allowedLateness(5d)可以让窗户等待5天再关闭。 1、第二天flink任务重启了，迟到数据还能处理吗？ 2、大部分车辆都没有称重数据，如何提前关闭这些窗口，避免过多浪费内存设置allowedLateness(5d) 阅读全文

posted @ 2024-08-20 23:27 耗子哥信徒阅读(11) 评论(0) 推荐(0) 编辑

反思线上问题定位效率

摘要：背景说明我在排查 https://www.cnblogs.com/xushengbin/p/18368362 问题过程中，前前后后花了超过16小时。做了各种尝试，才搞明白原来是自己上周做了一个性能优化引入的问题。定位问题原因时间成本很高，原因如下：最近几天数据不一致的行数明显增多（1天200 阅读全文

posted @ 2024-08-20 09:24 耗子哥信徒阅读(8) 评论(0) 推荐(0) 编辑

flink上下游并行度不一致导致的数据乱序问题

摘要：问题描述 SingleOutputStreamOperator<Row> aggregatedStream = patrolStream .union(timerGarbageStream) .filter(v -> v.getFacility() != null && (v.getFacility 阅读全文

posted @ 2024-08-19 23:35 耗子哥信徒阅读(142) 评论(0) 推荐(0) 编辑

flink stream转table POJO对象遇到的坑

摘要：核心代码 public class TrackLog { private Integer entityId; // flink的时间类型，必须使用LocalDateTime private LocalDateTime statDateTime; public Integer getEntityId( 阅读全文

posted @ 2024-08-02 12:20 耗子哥信徒阅读(118) 评论(0) 推荐(0) 编辑