【大数据面试】Flink 03-窗口、时间语义和水印、ProcessFunction底层API

三、窗口

 

1、窗口的介绍

 

（1）含义

 

将无限的流式数据切割为有限块处理，以便于聚合等操作

 

（2）图解

 

 

 

2、窗口的分类

 

（1）按性质分

 

Flink 支持三种划分窗口的方式，time、count和会话窗口（Session Windows）：session间隔定义了非活跃周期的长度，一段时间没有接收到新数据就会生成新的窗口。如果根据时间划分窗口，那么它就是一个time-window（时间窗口）；如果根据数据划分窗口，那么它就是一个count-window（数量窗口）。一段时间没有接收到新数据就会生成新的窗口，则为会话窗口。

 

（2）按类型分

 

窗口又可以分为滚动窗口（Tumbling Window）、滑动窗口（Sliding Window）和会话窗口（Session Window）。

 

滚动窗口无重叠数据，而滑动窗口有重叠数据。

 

3、窗口API

 

窗口包含两个重要属性（size窗口大小和interval间隔-多久统计一次），如果size=interval，那么就会形成tumbling-window(无重叠数据) 如果size>interval，那么就会形成sliding-window(有重叠数据) 如果size< interval，那么窗口将会丢失数据。

 

例如：每5秒钟，统计过去3秒的通过路口汽车的数据，将会漏掉2秒钟的数据

 

组合后可以形成下列四种窗口

 

time-tumbling-window 无重叠数据的时间窗口，设置方式举例：timeWindow(Time.seconds(5))

 

time-sliding-window 有重叠数据的时间窗口，设置方式举例：timeWindow(Time.seconds(5), Time.seconds(3))

 

count-tumbling-window无重叠数据的数量窗口，设置方式举例：countWindow(5)

 

count-sliding-window 有重叠数据的数量窗口，设置方式举例：countWindow(5,3)

 

4、API补充

 

windowfunction：增量聚合（每次到来都计算）、全窗口函数（全部到来再遍历）

 

其它可选API：.trigger()——触发器、.evitor()——移除器、.allowedLateness()——允许处理迟到的数据、.getSideOutput() —— 获取侧输出流

 

四、时间语义与水印

 

1、时间语义分类

 

流式数据处理的时间可以分为事件时间，进入时间和处理时间三种

 

Event Time：事件的创建时间，消息本身携带

 

Ingestion Time：进入时间，以client客户端时间为准

 

Processing Time：处理时间（默认的时间属性），以服务端时间为准

 

通常根据日志的生成时间（Event Time）进行统计

 

引入时间语义：

 

val env = StreamExecutionEnvironment.getExecutionEnvironment

// 从调用时刻开始给env创建的每一个stream追加时间特征

env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)

 

2、Watermark水印

 

（1）含义

 

Flink 为了处理 EventTime 窗口延迟计算提出的一种机制，本质是一种时间戳。每条消息都有一个事件时间和一个水印时间（计算得出，例如maxEventTime-t）。

 

通常与Window一起处理乱序事件。由于网络延迟等原因，不能无限期的等下去，保证特定时间后，必须触发窗口进行计算。

 

（2）实现原理

 

添加水印后，窗口会等5秒，再执行计算。若超过5秒，则舍弃。

 

窗口执行计算时间由水印时间来触发（而非窗口结束时间），当接收到消息的watermark >= endtime时，触发窗口的计算

 

（3）具体操作

 

实现TimestampAssigner接口，实现根据事件时间计算水印时间

 

五、ProcessFunctionAPI（底层API）

 

1、含义

 

是flink的底层转换算子，通过这些底层转换算子可以访问数据的时间戳、watermark以及注册定时事件等，还可以输出特定的一些事件，例如超时事件等。

 

2、组成

 

ProcessFunction

 

KeyedProcessFunction

 

CoProcessFunction

 

ProcessJoinFunction

 

BroadcastProcessFunction

 

KeyedBroadcastProcessFunction

 

ProcessWindowFunction

 

ProcessAllWindowFunction

 

3、调用方式

 

inputData.flatMap(new MySpliter())

    .process(new KeyedProcessFunction<String, Sensor, String>() {})

 

 

 

所有的Process Function都实现了RichFunction接口，都有open()、close()和getRuntimeContext()等方法

 

4、KeyedProcessFunction

 

按照key对元素进行处理，额外提供下列两个方法

 

processElement(Sensor sensor, Context context, Collector collector), 流中的每个元素都会调用此方法，调用结果将会放在Collector数据类型中输出；context包含上下文信息，包括当前数据的时间戳、key以及时间服务，还可以将数据放到侧输出流

 

onTimer(long timestamp, OnTimerContext ctx, Collector out)是一个回调函数。当定时器触发时调用。timestamp是定时器的触发时间戳，ctx上下文信息，out收集输出信息

 

5、TimerService和定时器对象

 

（1）含义及组成

 

TimerService是Context上下文和OnTimerContext 的对象，均包含下列方法：

 

//返回当前处理时间

long currentProcessingTime();

//返回当前水位线

long currentWatermark();

//注册当前key的process time定时器，process time到达定时时间时触发timer

void registerProcessingTimeTimer(long var1);

//注册当前key的event time定时器，当watermark大于等于定时时间时触发timer

void registerEventTimeTimer(long var1);

//删除指定时间戳的process time定时器

void deleteProcessingTimeTimer(long var1);

//删除指定时间戳的event time定时器

void deleteEventTimeTimer(long var1);

 

（3）举例：温度传感器

 

传感器温度在1秒内持续升高则发出报警信息。

 

.process(new KeyedProcessFunction<String, Sensor, String>()

实现processElement()方法负责根据值注册和清除定时器

实现onTimer()方法用于发出报警【回调函数】

6、侧输出流（SideOutput）

 

（1）含义

 

默认算子单一输出，用侧输出流可以产生多条不同数据类型的流

 

每个输出流可以定义为定义为OutputTag[X]对象，并通过Context对象发射到指定事件或对象

 

（2）使用方式

 

val monitoredReadings: DataStream[SensorReading] = readings

  .process(new FreezingMonitor)

monitoredReadings

  .getSideOutput(new OutputTag[String]("freezing-alarms"))

  .print() //输出指定的流信息

readings.print() //输出全部的流信息

 

（3）FreezingMonitor函数具体实现

 

class FreezingMonitor extends ProcessFunction[SensorReading, SensorReading] {

  // 定义一个侧输出标签

  lazy val freezingAlarmOutput: OutputTag[String] =

    new OutputTag[String]("freezing-alarms")

 

  override def processElement(r: SensorReading,

                              ctx: ProcessFunction[SensorReading, SensorReading]#Context,

                              out: Collector[SensorReading]): Unit = {

    // 温度在32F以下时，输出警告信息

    if (r.temperature < 32.0) {

      ctx.output(freezingAlarmOutput, s"Freezing Alarm for ${r.id}")

    }

    // 所有数据直接常规输出到主流

    out.collect(r)

  }

}

 

7、CoProcessFunction

 

（1）含义

 

使用CoProcessFunction可以合并两条流，根据id将两个流中的数据组合

 

（2）实现

 

提供了操作每一个输入流的方法:processElement1()和processElement2()

 

第一个流ValueState<String>的值不为空，则在第二个流中合并

 

// 流2的处理逻辑与流1的处理逻辑类似

    @Override

    public void processElement2(String value, Context ctx, Collector<Tuple2<String, String>> out) throws Exception {

        String value1 = state1.value();

        if (value1 != null) {

            out.collect(Tuple2.of(value1, value));

            state1.clear();

            ctx.timerService().deleteEventTimeTimer(timeState.value());

            timeState.clear();

        } else {

            state2.update(value);

            long time = 1111L + 60000;

            timeState.update(time);

            ctx.timerService().registerEventTimeTimer(time);

        }

}

//在定时器中将value不为空的tag进行输出