flink之watermark的设定

1、在flink中,watermark由应用程序开发人员生成,这通常需要对相应的领域有一定的了解,然后根据实际情况,总结得到经验值。
2、如果设置延迟太久,收到的结果的速度可能会很慢,解决办法是在在watermark到达之前输出一个近似的结果。
3、如果watermark到达的太早,则可能收到错误的结果,不是太精确,但是一般flink处理延迟数据的机智可以规避这个问题。
三重保障:
.assignTimestampsAndWatermarks()
.allowedLateness()
.sideOutputLateData()

posted @ 2021-01-13 08:06  Leo-Wong  阅读(410)  评论(0编辑  收藏  举报