摘要: 基于Event-Time的窗口处理流式数据,虽然提供了WaterMark机制,却只能在一定程度上解决了数据乱序的问题。但在某些情况下数据可能延时会分厂严重,及时通过WaterMark机制也无法等到数据全部进入窗口再进行处理。Flink中默认会将这些迟到的数据做丢弃处理,但是有些时候用户希望及时数据延 阅读全文
posted @ 2020-11-30 11:19 海贼王一样的男人 阅读(478) 评论(0) 推荐(0) 编辑
摘要: 在使用EventTime处理Stream数据的时候会遇到数据乱序的问题,流处理从Event(事件)产生,流经Source,再到Operator,这中间需要一定的时间。虽然大部分情况下,传输到Operator的数据都是按照事件产生的时间顺序来的,但是也不排除由于网络延迟等原因而导致乱序的产生,特别是使 阅读全文
posted @ 2020-11-30 08:58 海贼王一样的男人 阅读(450) 评论(0) 推荐(0) 编辑