Flink 中的 Time 有哪几种

处理时间(Processing Time)

1、Flink程序执行对应操作的系统时间。所有基于时间的操作(例如:时间窗口)都将使用运行相应operator的系统时间。例如:每个小时的处理时间窗口包括在系统时间范围内所有operator接收到的记录。例如:如果应用程序在09:15开始运行,则第一个滚动时间窗口将包括:09:15 – 10:00 之间的处理事件,下一个窗口包括上午10:00 – 11:00之间的处理事件
2、这种处理时间方式实时性是最好的,但数据未必准确

事件时间(Event Time)

1、每个事件发生的时间。这个时间一般是在进入到Flink之前就包含在事件中
2、针对Eventtime,事件被处理的时间以来与事件本身
3、Eventtime必须要指定如何生成Eventtime Watermark(水印)
4、理想情况,不管事件何时到达或者顺序如何,事件时间处理能够得到完整一致地结果。
5、事件处理在等待乱序事件时,会产生一些延迟。这样会对Eventtime的应用性能有一定的影响

摄入时间(Ingestion Time)

1、摄入时间是事件进入Flink的时间
2、在source operator中,每个记录以时间戳的形式获取源的当前时间
3、它在概念是处于事件时间和处理时间中间
4、摄入时间不能处理乱序问题或者延迟数据,摄入时间可以由流式系统自动生成水印

设定时间特性

Flink DataStream 程序的第一部分通常是设置基本时间特性。 该设置定义了数据流源的行为方式(例如:它们是否将分配时间戳),以及像 KeyedStream.timeWindow(Time.seconds(30)) 这样的窗口操作应该使用上面哪种时间概念。

posted @ 2022-12-28 21:09  Linux运维阿铭  阅读(74)  评论(0编辑  收藏  举报