随笔 - 1357  文章 - 0  评论 - 1104  阅读 - 1941万

Flink 触发器

1、什么是触发器
触发器决定了一个窗口何时可以被窗口函数处理(条件满足时触发并发出信号)

每一个WindowAssigner都有一个默认的触发器,如果默认的触发器不能满足你的需要,你可以通过调用trigger(...)来指定一个自定义的触发器

触发器有5个方法来允许触发器处理不同的事件(Trigger):
onElement()方法:每个元素被添加到窗口时调用
onEventTime()方法:当一个已注册的事件时间计时器启动时调用
onProcessingTime()方法:当一个已注册的处理时间计时器启动时调用
onMerge()方法:与状态性触发器相关,当使用session window时,两个触发器对应的窗口合并时,合并两个触发器的状态。
clear() 相应窗口被清除时触发

前三个方法通过返回TriggerResult来决定如何对其调用事件进行操作。该操作可以是以下操作之一:
CONTINUE:什么也不做
FIRE:触发计算
PURGE:清除窗口中的数据
FIRE_AND_PURGE:触发计算并随后清除窗口中的元素

2、触发和清除(Fire and Purge)
一旦一个触发器决定一个窗口已经准备好进行处理,它将触发并返回FIRE或者FIRE_AND_PURGE。这是窗口操作发送当前窗口结果的信号,发送给一个带有ProcessWindowFunction的窗口,所有元素都被传递给ProcessWindowFunction(可能在将它们传递给回收器之后)。

信号发送给具有ReduceFunction、AggregateFunction或FoldFunction的窗口只发出它们聚合的结果。

当一个触发器触发时,它可以是FIRE或者FIRE_AND_PURGE,如果是FIRE的话,将保持window中的内容,FIRE_AND_PURGE的话会清除window的内容。默认情况下,预实现的触发器仅仅是FIRE,不会清除window的状态。

注意:清除操作仅清除window的内容,并留下潜在的窗口元信息和完整的触发器状态。

3、默认触发器
每一个窗口分配器都有一个默认的触发器

WindowAssigner的默认触发器覆盖了很多场景(基本够用了)。
例如,所有event-time window assigner都有一个EventTimeTrigger作为默认触发器。只要水印通过窗口的末端,这个触发器就会触发。

GlobalWindow的默认触发器是永不触发的NeverTrigger。因此在使用GlobalWindow时,必须定义一个自定义触发器。

通过使用trigger()指定触发器,将覆盖WindowAssigner的默认触发器。例如,如果你为TumblingEventTimeWindows指定了CountTrigger,那么将不再根据时间的进度获得窗口触发,而只根据计数。如果希望根据时间和计数进行响应,就必须编写自己的触发器。

4、内置和自定义触发器
4.1、Flink内置的触发器:
EventTimeTrigger(前面提到过) 根据由watermark衡量的Event Time进度来触发
ProcessingTimeTrigger 根据处理时间来触发
CountTrigger 一旦窗口中的元素个数超出了给定的限制就会触发
PurgingTrigger 接受另一个触发器作为参数,并将其转换为一个purging触发器(当嵌套触发器触发时,将返回FIRE_AND_PURGE类型的TriggerResult)

4.2、自定义触发器
实现Trigger

posted on   Ruthless  阅读(3334)  评论(0编辑  收藏  举报
编辑推荐:
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
阅读排行:
· winform 绘制太阳,地球,月球 运作规律
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· 写一个简单的SQL生成工具
· AI 智能体引爆开源社区「GitHub 热点速览」
历史上的今天:
2018-04-05 Dockerfile基本结构
2016-04-05 eclipse运行maven的jetty插件内存溢出
2012-04-05 二、理解over()函数
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

点击右上角即可分享
微信分享提示