Flink时间语义
Event Time
指的是数据流中每个元素或者每个事件自带的时间属性,一般是事件发生的时间
由于延迟有可能一个较早完成的事件晚一些到达,在开窗的时候我们不可能一直等待窗口内应该到达的所有数据
在实际应用中,当涉及到对事件按照时间窗口进行统计时,Flink会将窗口内的事件缓存下来,直到接受到一个Watermark
如何使用:
- 使用Event Time作为时间戳
- 生成Watermark
Watermark:在开窗接受数据的时候,Flink会等待一个有限的时间,假设在这之后不会有更晚的数据到达。
在一定程度上降低了计算结果的绝对准确性,且增加了系统的延迟
优点:
- 某个事件的时间是确定的,保证计算结果在一定程度上的可预测性
缺点:
- 缓存较大,增加了延迟,调试和定位问题更复杂
Processing Time
指的是,算子使用当前机器的系统时钟时间
无视事件本身的时间属性,只要该事件在某个时间段到达了某个算子,就会被归结到该窗口下
优点:
- 只依赖当前执行机器的系统时钟,不需要依赖Watermark
- 无需缓存
- 实现简单,延迟最小
缺点:
不同环境下时间窗口的计算结果会发生变化,所以Processing Time在时间窗口下的计算会有不确定性
Ingestion Time
Ingestion Time是事件到达Flink Source的时间。从Source到下游各个算子中间可能有很多计算环节,任何一个算子的处理速度快慢可能影响到下游算子的Processing Time。而Ingestion Time定义的是数据流最早进入Flink的时间,因此不会被算子处理速度影响。
Ingestion Time通常是Event Time和Processing Time之间的一个折中方案。比起Event Time,Ingestion Time可以不需要设置复杂的Watermark,因此也不需要太多缓存,延迟较低。比起Processing Time,Ingestion Time的时间是Source赋值的,一个事件在整个处理过程从头至尾都使用这个时间,而且后续算子不受前序算子处理速度的影响,计算结果相对准确一些,但计算成本比Processing Time稍高。
作者:Zhbeii
出处:https://www.cnblogs.com/zhbeii/p/15836024.html
版权:本作品采用「署名-非商业性使用-相同方式共享 4.0 国际」许可协议进行许可。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 三行代码完成国际化适配,妙~啊~
· .NET Core 中如何实现缓存的预热?