窗口处理函数
除了KeyedProcessFunction，另外一大类常用的处理函数，就是基于窗口的ProcessWindowFunction和ProcessAllWindowFunction了.
1、窗口处理函数的使用
进行窗口计算，可以直接调用现成的简单聚合方法（sum/max/min）,也可以通过调用.reduce()或.aggregate()来自定义一般的增量聚合函数（ReduceFunction/AggregateFucntion）；而对于更加复杂、需要窗口信息和额外状态的一些场景，还可以直接使用全窗口函数、把数据全部收集保存在窗口内，等到触发窗口计算时再统一处理。窗口处理函数就是一种典型的全窗口函数。窗口处理函数ProcessWindowFunction的使用与其他窗口函数类似，也是基于WindowedStream直接调用方法就可以，只不过这时调用的是.process()。
stream.keyBy(t -> t.f0) .window(TumblingEventTimeWindows.of(Time.seconds(10))) .process(new MyProcessWindowFunction());
2、ProcessWindowFunction解析
ProcessWindowFunction既是处理函数又是全窗口函数。从名字上也可以推测出，它的本质似乎更倾向于“窗口函数”一些。事实上它的用法也确实跟其他处理函数有很大不同。可以从源码中的定义看到这一点：
/** * Base abstract class for functions that are evaluated over non-keyed windows using a context for * retrieving extra information. * * @param <IN> The type of the input value. * @param <OUT> The type of the output value. * @param <W> The type of {@code Window} that this window function can be applied on. */ @PublicEvolving public abstract class ProcessAllWindowFunction<IN, OUT, W extends Window> extends AbstractRichFunction { private static final long serialVersionUID = 1L; /** * Evaluates the window and outputs none or several elements. * * @param context The context in which the window is being evaluated. * @param elements The elements in the window being evaluated. * @param out A collector for emitting elements. * @throws Exception The function may throw exceptions to fail the program and trigger recovery. */ public abstract void process(Context context, Iterable<IN> elements, Collector<OUT> out) throws Exception; /** * Deletes any state in the {@code Context} when the Window expires (the watermark passes its * {@code maxTimestamp} + {@code allowedLateness}). * * @param context The context to which the window is being evaluated * @throws Exception The function may throw exceptions to fail the program and trigger recovery. */ public void clear(Context context) throws Exception {} /** The context holding window metadata. */ public abstract class Context { /** @return The window that is being evaluated. */ public abstract W window(); /** * State accessor for per-key and per-window state. * * <p><b>NOTE:</b>If you use per-window state you have to ensure that you clean it up by * implementing {@link ProcessWindowFunction#clear(ProcessWindowFunction.Context)}. */ public abstract KeyedStateStore windowState(); /** State accessor for per-key global state. */ public abstract KeyedStateStore globalState(); /** * Emits a record to the side output identified by the {@link OutputTag}. * * @param outputTag the {@code OutputTag} that identifies the side output to emit to. * @param value The record to emit. */ public abstract <X> void output(OutputTag<X> outputTag, X value); } }
ProcessWindowFunction依然是一个继承了AbstractRichFunction的抽象类，它有四个类型参数：
IN：input，数据流中窗口任务的输入数据类型；
OUT：output，窗口任务进行计算之后的输出数据类型；
KEY：数据中键key的类型；
W：窗口的类型，是Window的子类型。一般情况下定义时间窗口，W就是TimeWindow；
而内部定义的方法，跟之前熟悉的处理函数就有所区别了。因为全窗口函数不是逐个处理元素的，所以处理数据的方法在这里并不是.processElement()，而是改成了.process()。方法包含四个参数。
key：窗口做统计计算基于的键，也就是之前keyBy用来分区的字段；
context：当前窗口进行计算的上下文，它的类型就是ProcessWindowFunction内部定义的抽象类Context；
elements：窗口收集到用来计算的所有数据，这是一个可迭代的集合类型；
out：用来发送数据输出计算结果的收集器，类型为Collector；
可以明显看出，这里的参数不再是一个输入数据，而是窗口中所有数据的集合。而上下文context所包含的内容也跟其他处理函数有所差别：
/** The context holding window metadata. */ public abstract class Context { /** @return The window that is being evaluated. */ public abstract W window(); /** * State accessor for per-key and per-window state. * * <p><b>NOTE:</b>If you use per-window state you have to ensure that you clean it up by * implementing {@link ProcessWindowFunction#clear(ProcessWindowFunction.Context)}. */ public abstract KeyedStateStore windowState(); /** State accessor for per-key global state. */ public abstract KeyedStateStore globalState(); /** * Emits a record to the side output identified by the {@link OutputTag}. * * @param outputTag the {@code OutputTag} that identifies the side output to emit to. * @param value The record to emit. */ public abstract <X> void output(OutputTag<X> outputTag, X value); }
除了可以通过.output()方法定义侧输出流不变外，其他部分都有所变化。这里不再持有TimerService对象，只能通过currentProcessingTime()和currentWatermark()来获取当前时间，所以失去了设置定时器的功能；另外由于当前不是只处理一个数据，所以也不再提供.timestamp()方法。与此同时，也增加了一些获取其他信息的方法：比如可以通过.window()直接获取到当前的窗口对象，也可以通过.windowState()和.globalState()获取到当前自定义的窗口状态和全局状态。注意这里的“窗口状态”是自定义的，不包括窗口本身已经有的状态，针对当前key、当前窗口有效；而“全局状态”同样是自定义的状态，针对当前key的所有窗口有效。所以会发现，ProcessWindowFunction中除了.process()方法外，并没有.onTimer()方法，而是多出了一个.clear()方法。从名字就可以看出，这主要是方便进行窗口的清理工作。如果自定义了窗口状态，那么必须在.clear()方法中进行显式地清除，避免内存溢出。这里有一个问题：没有了定时器，那窗口处理函数就失去了一个最给力的武器，如果希望有一些定时操作又该怎么做呢？其实仔细思考会发现，对于窗口而言，它本身的定义就包含了一个触发计算的时间点，其实一般情况下是没有必要再去做定时操作的。如果非要这么干，Flink也提供了另外的途径——使用窗口触发器（Trigger）。在触发器中也有一个TriggerContext，它可以起到类似TimerService的作用：获取当前时间、注册和删除定时器，另外还可以获取当前的状态。这样设计无疑会让处理流程更加清晰——定时操作也是一种“触发”，所以就让所有的触发操作归触发器管，而所有处理数据的操作则归窗口函数管。至于另一种窗口处理函数ProcessAllWindowFunction，它的用法非常类似。区别在于它基于的是AllWindowedStream，相当于对没有keyBy的数据流直接开窗并调用.process()方法:
stream.windowAll(TumblingEventTimeWindows.of(Time.seconds(10))) .process(new MyProcessAllWindowFunction());
