Flink窗口函数 窗口聚合 tumble hop session over 滚动 滑动 会话 over

小结：

1、系统会根据数据的Event Time生成的Watermark来进行关窗

FlinkSQL支持的窗口函数类型_实时计算Flink版-阿里云帮助中心 https://help.aliyun.com/zh/flink/developer-reference/overview-4

窗口函数 | Apache Flink https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/window-tvf/

概述

更新时间：2023-09-27 10:44:58
产品详情
相关技术圈
我的收藏
重要

本文中含有需要您注意的重要提示信息，忽略该信息可能对您的业务造成影响，请务必仔细阅读。

 

本文为您介绍Flink SQL支持的窗口函数以及窗口函数支持的时间属性和窗口类型。

窗口函数

Flink SQL窗口函数支持基于无限大窗口的聚合（无需在SQL Query中，显式定义任何窗口）以及对一个特定的窗口的聚合。例如，需要统计在过去的1分钟内有多少用户点击了某个网页，可以通过定义一个窗口来收集最近1分钟内的数据，并对这个窗口内的数据进行实时计算。

Flink SQL支持的窗口聚合主要是两种：Window聚合和Over聚合。本文档主要为您介绍Window聚合。Window聚合支持Event Time和Processing Time两种时间属性定义窗口。每种时间属性类型支持三种窗口类型：滚动窗口（TUMBLE）、滑动窗口（HOP）和会话窗口（SESSION）。

警告

滚动窗口、滑动窗口和会话窗口不能与last_value、first_value、TopN函数合用，会造成数据乱序被丢弃，导致结果数据异常。

时间属性

Flink SQL支持Event Time和Processing Time两种时间属性，时间属性详情请参见时间属性。Flink可以基于这两种时间属性对数据进行窗口聚合。基于这两种时间属性开窗的区别如下：

  • Event Time：您提供的事件时间，通常是数据的最原始的创建时间。

    系统会根据数据的Event Time生成的Watermark来进行关窗。只有当Watermark大于关窗时间，才会触发窗口的结束，窗口结束才会输出结果。如果一直没有触发窗口结束的数据流入Flink，则该窗口就无法输出数据。单并发的Watermark是递增的，多并发或者多个源表的Watermark取最小值。

    重要

    • 如果源表中存在一条未来的乱序数据或者某个并发没有数据，则可能会无法触发窗口结束，从而导致结果数据异常。因此您需要根据数据乱序的程度设置合理的offset大小，并保证所有并发都有数据。如果某个源表并发或源表上游partition因没有数据导致窗口始终无法被触发，则可以在更多Flink配置中添加table.exec.source.idle-timeout: 10s来触发窗口结束。该参数含义详情请参见Configuration。

    • 数据经过GroupBy、双流JOIN或OVER窗口节点后，会导致Watermark属性丢失，无法再使用Event Time进行开窗。

  • Processing Time：对事件进行处理的本地系统时间。

    Processing Time是Flink系统产生的，不在用户的原始数据中。因此需要您显示定义一个Processing Time列。

    说明

    因为Processing Time容易受到事件到达Flink系统的速度及Flink内部处理数据顺序的影响，所以每次回溯数据的结果可能不一致。

级联窗口

Rowtime列在经过窗口操作后，其Event Time属性将丢失。您可以使用辅助函数TUMBLE_ROWTIME、HOP_ROWTIME或SESSION_ROWTIME，获取窗口中的Rowtime列的最大值max(rowtime)作为时间窗口的Rowtime，其类型是具有Rowtime属性的TIMESTAMP，取值为window_end - 1 。 例如[00:00, 00:15) 的窗口，返回值为00:14:59.999 。

示例逻辑为：基于1分钟的滚动窗口聚合结果，进行1小时的滚动窗口聚合，可以满足您的多维度开窗需求。

 
CREATE TEMPORARY TABLE user_clicks(
  username varchar,
  click_url varchar,
  eventtime varchar,                                                        
  ts AS TO_TIMESTAMP(eventtime),
  WATERMARK FOR ts AS ts - INTERVAL '2' SECOND  --为Rowtime定义Watermark。
) with (
  'connector'='sls',
  ...
);

CREATE TEMPORARY TABLE tumble_output(
  window_start TIMESTAMP,
  window_end TIMESTAMP,
  username VARCHAR,
  clicks BIGINT
) with (
  'connector'='datahub'       --目前SLS只支持输出VARCHAR类型的DDL，所以使用DataHub存储。
  ...
);

CREATE TEMPORARY VIEW one_minute_window_output AS 
SELECT 
  TUMBLE_ROWTIME(ts, INTERVAL '1' MINUTE) as rowtime,  --使用TUMBLE_ROWTIME作为二级Window的聚合时间。
  username, 
  COUNT(click_url) as cnt
FROM user_clicks
GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE),username;

BEGIN statement set;
INSERT INTO tumble_output
SELECT
  TUMBLE_START(rowtime, INTERVAL '1' HOUR),
  TUMBLE_END(rowtime, INTERVAL '1' HOUR),
  username,
  SUM(cnt)
FROM one_minute_window_output
GROUP BY TUMBLE(rowtime, INTERVAL '1' HOUR), username;
END;

中间数据

窗口的中间数据分为Keyed State和定时器（Timer）两类，可以分别存储在不同的存储介质中，您可以根据作业的特点选择不同的搭配，目前支持以下四种选择：

Keyed State存储

定时器存储介质

GeminiStateBackend

内存

HashMapStateBackend

内存

RocksDBStateBackend

内存

RocksDBStateBackend

文件

有关状态存储后端的选择请参见企业级状态后端存储介绍和HashMapStateBackend。定时器主要用于触发过期的窗口，在内存充裕的情况下，将定时器存储在内存中可以得到更好的性能；在定时器较多或内存资源紧张的情况下，您可以选择RocksDB StateBackend将定时器存储在RocksDB的文件中。

如何使用Flink滚动窗口函数_实时计算Flink版-阿里云帮助中心 https://help.aliyun.com/zh/flink/developer-reference/tumble

滚动窗口

更新时间：2022-09-14 18:30:15
产品详情
相关技术圈
我的收藏
 

本文为您介绍如何使用Flink滚动窗口函数。

定义

滚动窗口（TUMBLE）将每个元素分配到一个指定大小的窗口中。通常，滚动窗口有一个固定的大小，并且不会出现重叠。例如，如果指定了一个5分钟大小的滚动窗口，无限流的数据会根据时间划分为[0:00, 0:05)、[0:05, 0:10)、[0:10, 0:15)等窗口。

语法

TUMBLE函数用在GROUP BY子句中，用来定义滚动窗口。
 
TUMBLE(<time-attr>, <size-interval>)
<size-interval>: INTERVAL 'string' timeUnit
说明
<time-attr>参数必须是时间流中的一个合法的时间属性字段，指定为Processing Time或Event Time，请参见概述，了解如何定义时间属性。

标识函数

使用标识函数选出窗口的起始时间或者结束时间，窗口的时间属性用于下级Window的聚合。
 
窗口标识函数返回类型描述
TUMBLE_START(time-attr, size-interval) TIMESTAMP 返回窗口的起始时间（包含边界）。例如[00:10,00:15)窗口，返回00:10。
TUMBLE_END(time-attr, size-interval) TIMESTAMP 返回窗口的结束时间（包含边界）。例如[00:00, 00:15]窗口，返回00:15。
TUMBLE_ROWTIME(time-attr, size-interval) TIMESTAMP(rowtime-attr) 返回窗口的结束时间（不包含边界）。例如(00:00, 00:15)窗口，返回00:14:59.999。返回值是一个rowtime attribute，即可以基于该字段进行时间属性的操作，例如，级联窗口只能用在基于Event Time的Window上，详情请参见级联窗口。
TUMBLE_PROCTIME(time-attr, size-interval) TIMESTAMP(rowtime-attr) 返回窗口的结束时间（不包含边界）。例如(00:00, 00:15)窗口，返回00:14:59.999。返回值是一个Proctime Attribute，即可以基于该字段进行时间属性的操作。例如，级联窗口只能用在基于Processing Time的Window上，详情请参见级联窗口。

使用Event Time统计每个用户每分钟在指定网站的单击数示例

  • 测试数据
     
    username（VARCHAR）click_url（VARCHAR）eventtime（VARCHAR）
    Jark http://taobao.com/xxx 2017-10-10 10:00:00.0
    Jark http://taobao.com/xxx 2017-10-10 10:00:10.0
    Jark http://taobao.com/xxx 2017-10-10 10:00:49.0
    Jark http://taobao.com/xxx 2017-10-10 10:01:05.0
    Jark http://taobao.com/xxx 2017-10-10 10:01:58.0
    Timo http://taobao.com/xxx 2017-10-10 10:02:10.0
  • 测试语句
     
    CREATE TEMPORARY TABLE user_clicks(
  username varchar,
  click_url varchar,
  eventtime varchar,                            
  ts AS TO_TIMESTAMP(eventtime),
  WATERMARK FOR ts AS ts - INTERVAL '2' SECOND  --为Rowtime定义Watermark。
) WITH (
  'connector'='sls',
  ...
);

CREATE TEMPORARY TABLE tumble_output(
  window_start TIMESTAMP,
  window_end TIMESTAMP,
  username VARCHAR,
  clicks BIGINT
) WITH (
  'connector'='datahub'          --目前SLS只支持输出VARCHAR类型的DDL，所以使用DataHub存储。
  ...
);

INSERT INTO tumble_output
SELECT
TUMBLE_START(ts, INTERVAL '1' MINUTE) as window_start,
TUMBLE_END(ts, INTERVAL '1' MINUTE) as window_end,
username,
COUNT(click_url)
FROM user_clicks
GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE),username;
  • 测试结果
     
    window_start （TIMESTAMP）window_end （TIMESTAMP）username（VARCHAR）clicks（BIGINT）
    2017-10-10 10:00:00.0 2017-10-10 10:01:00.0 Jark 3
    2017-10-10 10:01:00.0 2017-10-10 10:02:00.0 Jark 2
    2017-10-10 10:02:00.0 2017-10-10 10:03:00.0 Timo 1

使用Processing Time统计每个用户每分钟在指定网站的单击数示例

  • 测试数据
     
    username （VARCHAR）click_url（VARCHAR）
    Jark http://taobao.com/xxx
    Jark http://taobao.com/xxx
    Jark http://taobao.com/xxx
    Jark http://taobao.com/xxx
    Jark http://taobao.com/xxx
    Timo http://taobao.com/xxx
  • 测试语句
     
    CREATE TEMPORARY TABLE window_test (
  username   VARCHAR,
  click_url  VARCHAR,
  ts as PROCTIME()
) WITH (
  'connector'='sls',
  ...
);

CREATE TEMPORARY TABLE tumble_output(
  window_start TIMESTAMP,
  window_end TIMESTAMP,
  username VARCHAR,
  clicks BIGINT
) WITH (
  'connector'='datahub'              --目前SLS只支持输出VARCHAR类型的DDL，所以使用DataHub存储。
  ...
);

INSERT INTO tumble_output
SELECT
TUMBLE_START(ts, INTERVAL '1' MINUTE),
TUMBLE_END(ts, INTERVAL '1' MINUTE),
username,
COUNT(click_url)
FROM window_test
GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE), username;
  • 测试结果
     
    window_start （TIMESTAMP）window_end （TIMESTAMP）username （VARCHAR）clicks（BIGINT）
    2019-04-11 14:43:00.000 2019-04-11 14:44:00.000 Jark 5
    2019-04-11 14:43:00.000  2019-04-11 14:44:00.000 Timo 1

 

 

如何使用Flink滑动窗口函数_实时计算Flink版-阿里云帮助中心 https://help.aliyun.com/zh/flink/developer-reference/hop

滑动窗口

更新时间：2023-01-12 15:33:57
产品详情
相关技术圈
我的收藏
 

本文为您介绍如何使用Flink滑动窗口函数。

定义

滑动窗口（HOP），也被称作Sliding Window。不同于滚动窗口，滑动窗口的窗口可以重叠。

滑动窗口有两个参数：slide和size。slide为每次滑动的步长，size为窗口的大小。

  • slide < size，则窗口会重叠，每个元素会被分配到多个窗口。
  • slide = size，则等同于滚动窗口（TUMBLE）。
  • slide > size，则为跳跃窗口，窗口之间不重叠且有间隙。

通常，大部分元素符合多个窗口情景，窗口是重叠的。因此，滑动窗口在计算移动平均数（moving averages）时很实用。例如，计算过去5分钟数据的平均值，每10秒钟更新一次，可以设置slide为10秒，size为5分钟。

函数语法

HOP函数用在GROUP BY子句中，用来定义滑动窗口。
 
HOP(<time-attr>, <slide-interval>,<size-interval>)
<slide-interval>: INTERVAL 'string' timeUnit
<size-interval>: INTERVAL 'string' timeUnit
说明

<time-attr>参数必须是流中的一个合法的时间属性字段，指定为Processing Time或Event Time。请参见概述，了解如何定义时间属性。

标识函数

使用滑动窗口标识函数选出窗口的起始时间或者结束时间，窗口的时间属性用于下级Window的聚合。
 
窗口标识函数返回类型描述
HOP_START（<time-attr>, <slide-interval>, <size-interval>） TIMESTAMP 返回窗口的起始时间（包含边界）。例如[00:10, 00:15] 窗口，返回00:10 。
HOP_END（<time-attr>, <slide-interval>, <size-interval>） TIMESTAMP 返回窗口的结束时间（包含边界）。例如[00:00, 00:15]窗口，返回00:15。
HOP_ROWTIME（<time-attr>, <slide-interval>, <size-interval>） TIMESTAMP（rowtime-attr） 返回窗口的结束时间（不包含边界）。例如(00:00, 00:15) 窗口，返回00:14:59.999。返回值是一个rowtime attribute，即可以基于该字段做时间类型的操作，例如级联窗口，只能用在基于event time的window上。
HOP_PROCTIME（<time-attr>, <slide-interval>, <size-interval>） TIMESTAMP（rowtime-attr） 返回窗口的结束时间（不包含边界）。例如(00:00, 00:15) 窗口，返回00:14:59.999 。返回值是一个proctime attribute，即可以基于该字段做时间类型的操作，例如级联窗口，只能用在基于processing time的window上。

示例

统计每个用户过去1分钟的单击次数，每30秒更新1次，即1分钟的窗口，30秒滑动1次。
  • 测试数据
     
    username（VARCHAR）click_url（VARCHAR）ts（TIMESTAMP）
    Jark http://taobao.com/xxx 2017-10-10 10:00:00.0
    Jark http://taobao.com/xxx 2017-10-10 10:00:10.0
    Jark http://taobao.com/xxx 2017-10-10 10:00:49.0
    Jark http://taobao.com/xxx 2017-10-10 10:01:05.0
    Jark http://taobao.com/xxx 2017-10-10 10:01:58.0
    Timo http://taobao.com/xxx 2017-10-10 10:02:10.0
  • 测试语句
     
    CREATE TEMPORARY TABLE user_clicks (
  username VARCHAR,
  click_url VARCHAR,
  eventtime VARCHAR,                            
  ts AS TO_TIMESTAMP(eventtime),
  WATERMARK FOR ts AS ts - INTERVAL '2' SECOND  --为Rowtime定义Watermark。
) WITH (
  'connector'='sls',
  ...
);

CREATE TEMPORARY TABLE hop_output (
  window_start TIMESTAMP,
  window_end TIMESTAMP,
  username VARCHAR,
  clicks BIGINT
) WITH (
  'connector'='datahub'           --目前SLS只支持输出VARCHAR类型的DDL，所以使用DataHub存储。
  ...
);

INSERT INTO
    hop_output
SELECT
    HOP_START (ts, INTERVAL '30' SECOND, INTERVAL '1' MINUTE),
    HOP_END (ts, INTERVAL '30' SECOND, INTERVAL '1' MINUTE),
    username,
    COUNT (click_url)
FROM
    user_clicks
GROUP BY
    HOP (ts, INTERVAL '30' SECOND, INTERVAL '1' MINUTE),username;
  • 测试结果
     
    window_start （TIMESTAMP）window_end （TIMESTAMP）username （VARCHAR）clicks （BIGINT）
    2017-10-10 09:59:30.0 2017-10-10 10:00:30.0 Jark 2
    2017-10-10 10:00:00.0 2017-10-10 10:01:00.0 Jark 3
    2017-10-10 10:00:30.0 2017-10-10 10:01:30.0 Jark 2
    2017-10-10 10:01:00.0 2017-10-10 10:02:00.0 Jark 2
    2017-10-10 10:01:30.0 2017-10-10 10:02:30.0 Jark 1
    2017-10-10 10:02:00.0 2017-10-10 10:03:00.0 Timo 1
    2017-10-10 10:02:30.0 2017-10-10 10:03:30.0 Timo 1
    HOP窗口无法读取数据进入的时间，第一个窗口的开启时间会前移。 前移时长=窗口时长-滑动步长，示例如下表。
     
    窗口时长（秒）滑动步长（秒）Event Time第一个窗口StartTime第一个窗口EndTime
    120 30 2019-07-31 10:00:00.0 2019-07-31 09:58:30.0 2019-07-31 10:00:30.0
    60 10 2019-07-31 10:00:00.0 2019-07-31 09:59:10.0 2019-07-31 10:00:10.0

如何使用Flink会话窗口函数_实时计算Flink版-阿里云帮助中心 https://help.aliyun.com/zh/flink/developer-reference/session

本文为您介绍如何使用Flink会话窗口函数。

定义

会话窗口（SESSION）通过SESSION活动来对元素进行分组。会话窗口与滚动窗口和滑动窗口相比，没有窗口重叠，没有固定窗口大小。相反，当它在一个固定的时间周期内不再收到元素，即会话断开时，该窗口就会关闭。

会话窗口通过一个间隔时间（Gap）来配置，这个间隔定义了非活跃周期的长度。例如，一个表示鼠标单击活动的数据流可能具有长时间的空闲时间，并在两段空闲之间散布着高浓度的单击。如果数据在指定的间隔（Gap）之后到达，则会开始一个新的窗口。

函数语法

SESSION函数用于在GROUP BY子句中定义会话窗口。
 
SESSION(<time-attr>, <gap-interval>)
<gap-interval>: INTERVAL 'string' timeUnit
说明
<time-attr> 参数必须是数据流中的一个合法的时间属性字段，指定为Processing Time或Event Time，详情请参见概述，了解如何定义时间属性。

标识函数

使用标识函数选出窗口的起始时间或者结束时间，窗口的时间属性用于下级Window的聚合。

 
窗口标识函数返回类型描述
SESSION_START（<time-attr>, <gap-interval>） Timestamp 返回窗口的起始时间（包含边界）。例如[00:10,00:15]的窗口，返回00:10，即为此会话窗口内第一条记录的时间。
SESSION_END（<time-attr>, <gap-interval>） Timestamp 返回窗口的结束时间（包含边界）。例如[00:00,00:15]的窗口，返回 00:15，即为此会话窗口内最后一条记录的时间+<gap-interval>。
SESSION_ROWTIME（<time-attr>, <gap-interval>） Timestamp（rowtime-attr） 返回窗口的结束时间（不包含边界）。例如(00:00,00:15)的窗口，返回00:14:59.999 。返回值是一个rowtime attribute，也就是可以基于该字段进行时间类型的操作，例如级联窗口。该参数只能用于基于Event Time的Window。
SESSION_PROCTIME（<time-attr>, <gap-interval>） Timestamp（rowtime-attr） 返回窗口的结束时间（不包含边界）。例如(00:00,00:15)的窗口，返回 00:14:59.999 。返回值是一个Proctime Attribute，也就是可以基于该字段进行时间类型的操作，例如级联窗口。该参数只能用于基于Processing Time的Window。

示例

统计每个用户在每个活跃会话期间的单击次数，会话超时时长为30秒。
  • 测试数据
     
    username （VARCHAR）click_url （VARCHAR）ts （TIMESTAMP）
    Jark http://taobao.com/xxx 2017-10-10 10:00:00.0
    Jark http://taobao.com/xxx 2017-10-10 10:00:10.0
    Jark http://taobao.com/xxx 2017-10-10 10:00:49.0
    Jark http://taobao.com/xxx 2017-10-10 10:01:05.0
    Jark http://taobao.com/xxx 2017-10-10 10:01:58.0
    Timo http://taobao.com/xxx 2017-10-10 10:02:10.0
  • 测试语句
     
    CREATE TEMPORARY TABLE user_clicks(
  username varchar,
  click_url varchar,
  eventtime varchar,                            
  ts AS TO_TIMESTAMP(eventtime),
  WATERMARK FOR ts AS ts - INTERVAL '2' SECOND  --为Rowtime定义Watermark。
) WITH (
  'connector'='sls',
  ...
);

CREATE TEMPORARY TABLE session_output(
  window_start TIMESTAMP,
  window_end TIMESTAMP,
  username VARCHAR,
  clicks BIGINT
) WITH (
  'connector'='datahub'           --目前SLS只支持输出VARCHAR类型的DDL，所以使用DataHub存储。
  ...
);

INSERT INTO session_output
SELECT
SESSION_START(ts, INTERVAL '30' SECOND),
SESSION_END(ts, INTERVAL '30' SECOND),
username,
COUNT(click_url)
FROM user_clicks
GROUP BY SESSION(ts, INTERVAL '30' SECOND), username;
  • 测试结果
     
    window_start （TIMESTAMP）window_end （TIMESTAMP）username （VARCHAR）clicks （BIGINT）
    2017-10-10 10:00:00.0 2017-10-10 10:00:40.0 Jark 2
    2017-10-10 10:00:49.0 2017-10-10 10:01:35.0 Jark 2
    2017-10-10 10:01:58.0 2017-10-10 10:02:28.0 Jark 1
    2017-10-10 10:02:10.0 2017-10-10 10:02:40.0 Timo 1

OVER窗口函数使用语法及实例_实时计算Flink版-阿里云帮助中心 https://help.aliyun.com/zh/flink/developer-reference/over-windows

OVER窗口

更新时间：2022-09-15 15:45:32
产品详情
相关技术圈
我的收藏
 

OVER窗口（OVER Window）是传统数据库的标准开窗，不同于Group By Window，OVER窗口中每1个元素都对应1个窗口。OVER窗口可以按照实际元素的行或实际的元素值（时间戳值）确定窗口，因此流数据元素可能分布在多个窗口中。

在应用OVER窗口的流式数据中，每1个元素都对应1个OVER窗口。每1个元素都触发1次数据计算，每个触发计算的元素所确定的行，都是该元素所在窗口的最后1行。在实时计算的底层实现中，OVER窗口的数据进行全局统一管理（数据只存储1份），逻辑上为每1个元素维护1个OVER窗口，为每1个元素进行窗口计算，完成计算后会清除过期的数据。详情请参见Over Aggregation。

语法

 
SELECT
    agg1(col1) OVER (definition1) AS colName,
    ...
    aggN(colN) OVER (definition1) AS colNameN
FROM Tab1;
  • agg1(col1)：按照GROUP BY指定col1列对输入数据进行聚合计算。
  • OVER (definition1)：OVER窗口定义。
  • AS colName：别名。
说明
  • agg1到aggN所对应的OVER definition1必须相同。
  • 外层SQL可以通过AS的别名查询数据。

类型

Flink SQL中对OVER窗口的定义遵循标准SQL的定义语法，传统OVER窗口没有对其进行更细粒度的窗口类型命名划分。按照计算行的定义方式，OVER Window可以分为以下两类：
  • ROWS OVER Window：每1行元素都被视为新的计算行，即每1行都是一个新的窗口。
  • RANGE OVER Window：具有相同时间值的所有元素行视为同一计算行，即具有相同时间值的所有行都是同一个窗口。

属性

 
正交属性说明proctimeeventtime
ROWS OVER Window 按照实际元素的行确定窗口。 支持 支持
RANGE OVER Window 按照实际的元素值（时间戳值）确定窗口。 支持 支持

Rows OVER Window语义

  • 窗口数据

    ROWS OVER Window的每个元素都确定一个窗口。

  • 窗口语法
     
    SELECT
    agg1(col1) OVER(
     [PARTITION BY (value_expression1,..., value_expressionN)]
     ORDER BY timeCol
     ROWS 
     BETWEEN (UNBOUNDED | rowCount) PRECEDING AND CURRENT ROW) AS colName, ...
FROM Tab1;
    • value_expression：分区值表达式。
    • timeCol：元素排序的时间字段。
    • rowCount：定义根据当前行开始向前追溯几行元素。
  • 案例
    以Bounded ROWS OVER Window场景为例。假设，一张商品上架表，包含有商品ID、商品类型、商品上架时间、商品价格数据。要求输出在当前商品上架之前同类的3个商品中的最高价格。
    • 测试数据
       
      商品ID商品类型上架时间销售价格
      ITEM001 Electronic 2017-11-11 10:01:00 20
      ITEM002 Electronic 2017-11-11 10:02:00 50
      ITEM003 Electronic 2017-11-11 10:03:00 30
      ITEM004 Electronic 2017-11-11 10:03:00 60
      ITEM005 Electronic 2017-11-11 10:05:00 40
      ITEM006 Electronic 2017-11-11 10:06:00 20
      ITEM007 Electronic 2017-11-11 10:07:00 70
      ITEM008 Clothes 2017-11-11 10:08:00 20
    • 测试代码
       
      CREATE TEMPORARY TABLE tmall_item(
  itemID VARCHAR,
  itemType VARCHAR,
  eventtime varchar,                            
  onSellTime AS TO_TIMESTAMP(eventtime),
  price DOUBLE,
  WATERMARK FOR onSellTime AS onSellTime - INTERVAL '0' SECOND  --为Rowtime定义Watermark。
) WITH (
  'connector' = 'sls',
   ...
);

SELECT
    itemID,
    itemType,
    onSellTime,
    price,  
    MAX(price) OVER (
        PARTITION BY itemType 
        ORDER BY onSellTime 
        ROWS BETWEEN 2 preceding AND CURRENT ROW) AS maxPrice
FROM tmall_item;
    • 测试结果
       
      itemIDitemTypeonSellTimepricemaxPrice
      ITEM001 Electronic 2017-11-11 10:01:00 20 20
      ITEM002 Electronic 2017-11-11 10:02:00 50 50
      ITEM003 Electronic 2017-11-11 10:03:00 30 50
      ITEM004 Electronic 2017-11-11 10:03:00 60 60
      ITEM005 Electronic 2017-11-11 10:05:00 40 60
      ITEM006 Electronic 2017-11-11 10:06:00 20 60
      ITEM007 Electronic 2017-11-11 10:07:00 70 70
      ITEM008 Clothes 2017-11-11 10:08:00 20 20

RANGE OVER Window语义

  • 窗口数据

    RANGE OVER Window所有具有共同元素值（元素时间戳）的元素行确定一个窗口。

  • 窗口语法
     
    SELECT
    agg1(col1) OVER(
     [PARTITION BY (value_expression1,..., value_expressionN)]
     ORDER BY timeCol
     RANGE 
     BETWEEN (UNBOUNDED | timeInterval) PRECEDING AND CURRENT ROW) AS colName,
...
FROM Tab1;
    • value_expression：进行分区的字表达式。
    • timeCol：元素排序的时间字段。
    • timeInterval：定义根据当前行开始向前追溯指定时间的元素行。
  • 案例
    Bounded RANGE OVER Window场景示例：假设一张商品上架表，包含有商品ID、商品类型、商品上架时间、商品价格数据。需要求比当前商品上架时间早2分钟的同类商品中的最高价格。
    • 测试数据
       
      商品ID商品类型上架时间销售价格
      ITEM001 Electronic 2017-11-11 10:01:00 20
      ITEM002 Electronic 2017-11-11 10:02:00 50
      ITEM003 Electronic 2017-11-11 10:03:00 30
      ITEM004 Electronic 2017-11-11 10:03:00 60
      ITEM005 Electronic 2017-11-11 10:05:00 40
      ITEM006 Electronic 2017-11-11 10:06:00 20
      ITEM007 Electronic 2017-11-11 10:07:00 70
      ITEM008 Clothes 2017-11-11 10:08:00 20
    • 测试代码
       
      CREATE TEMPORARY TABLE tmall_item(
  itemID VARCHAR,
  itemType VARCHAR,
  eventtime varchar,                            
  onSellTime AS TO_TIMESTAMP(eventtime),
  price DOUBLE,
  WATERMARK FOR onSellTime AS onSellTime - INTERVAL '0' SECOND  --为Rowtime定义Watermark。
) WITH (
  'connector' = 'sls',
   ...
);


SELECT  
    itemID,
    itemType, 
    onSellTime, 
    price,  
    MAX(price) OVER (
        PARTITION BY itemType 
        ORDER BY onSellTime 
        RANGE BETWEEN INTERVAL '2' MINUTE preceding AND CURRENT ROW) AS maxPrice
FROM tmall_item;
    • 测试结果
       
      itemIDitemTypeonSellTimepricemaxPrice
      ITEM001 Electronic 2017-11-11 10:01:00 20 20
      ITEM002 Electronic 2017-11-11 10:02:00 50 50
      ITEM003 Electronic 2017-11-11 10:03:00 30 50
      ITEM004 Electronic 2017-11-11 10:03:00 60 60
      ITEM005 Electronic 2017-11-11 10:05:00 40 60
      ITEM006 Electronic 2017-11-11 10:06:00 20 40
      ITEM007 Electronic 2017-11-11 10:07:00 70 70
      ITEM008 Clothes 2017-11-11 10:08:00 20 20

 

 

 

 

 

 

概述

更新时间：2023-09-27 10:44:58
产品详情
相关技术圈
我的收藏
重要

本文中含有需要您注意的重要提示信息，忽略该信息可能对您的业务造成影响，请务必仔细阅读。

 

本文为您介绍Flink SQL支持的窗口函数以及窗口函数支持的时间属性和窗口类型。

窗口函数

Flink SQL窗口函数支持基于无限大窗口的聚合（无需在SQL Query中，显式定义任何窗口）以及对一个特定的窗口的聚合。例如，需要统计在过去的1分钟内有多少用户点击了某个网页，可以通过定义一个窗口来收集最近1分钟内的数据，并对这个窗口内的数据进行实时计算。

Flink SQL支持的窗口聚合主要是两种：Window聚合和Over聚合。本文档主要为您介绍Window聚合。Window聚合支持Event Time和Processing Time两种时间属性定义窗口。每种时间属性类型支持三种窗口类型：滚动窗口（TUMBLE）、滑动窗口（HOP）和会话窗口（SESSION）。

警告

滚动窗口、滑动窗口和会话窗口不能与last_value、first_value、TopN函数合用，会造成数据乱序被丢弃，导致结果数据异常。

时间属性

Flink SQL支持Event Time和Processing Time两种时间属性，时间属性详情请参见时间属性。Flink可以基于这两种时间属性对数据进行窗口聚合。基于这两种时间属性开窗的区别如下：

  • Event Time：您提供的事件时间，通常是数据的最原始的创建时间。

    系统会根据数据的Event Time生成的Watermark来进行关窗。只有当Watermark大于关窗时间，才会触发窗口的结束，窗口结束才会输出结果。如果一直没有触发窗口结束的数据流入Flink，则该窗口就无法输出数据。单并发的Watermark是递增的，多并发或者多个源表的Watermark取最小值。

    重要

    • 如果源表中存在一条未来的乱序数据或者某个并发没有数据，则可能会无法触发窗口结束，从而导致结果数据异常。因此您需要根据数据乱序的程度设置合理的offset大小，并保证所有并发都有数据。如果某个源表并发或源表上游partition因没有数据导致窗口始终无法被触发，则可以在更多Flink配置中添加table.exec.source.idle-timeout: 10s来触发窗口结束。该参数含义详情请参见Configuration。

    • 数据经过GroupBy、双流JOIN或OVER窗口节点后，会导致Watermark属性丢失，无法再使用Event Time进行开窗。

  • Processing Time：对事件进行处理的本地系统时间。

    Processing Time是Flink系统产生的，不在用户的原始数据中。因此需要您显示定义一个Processing Time列。

    说明

    因为Processing Time容易受到事件到达Flink系统的速度及Flink内部处理数据顺序的影响，所以每次回溯数据的结果可能不一致。

级联窗口

Rowtime列在经过窗口操作后，其Event Time属性将丢失。您可以使用辅助函数TUMBLE_ROWTIME、HOP_ROWTIME或SESSION_ROWTIME，获取窗口中的Rowtime列的最大值max(rowtime)作为时间窗口的Rowtime，其类型是具有Rowtime属性的TIMESTAMP，取值为window_end - 1 。 例如[00:00, 00:15) 的窗口，返回值为00:14:59.999 。

示例逻辑为：基于1分钟的滚动窗口聚合结果，进行1小时的滚动窗口聚合，可以满足您的多维度开窗需求。

 
CREATE TEMPORARY TABLE user_clicks(
  username varchar,
  click_url varchar,
  eventtime varchar,                                                        
  ts AS TO_TIMESTAMP(eventtime),
  WATERMARK FOR ts AS ts - INTERVAL '2' SECOND  --为Rowtime定义Watermark。
) with (
  'connector'='sls',
  ...
);

CREATE TEMPORARY TABLE tumble_output(
  window_start TIMESTAMP,
  window_end TIMESTAMP,
  username VARCHAR,
  clicks BIGINT
) with (
  'connector'='datahub'       --目前SLS只支持输出VARCHAR类型的DDL，所以使用DataHub存储。
  ...
);

CREATE TEMPORARY VIEW one_minute_window_output AS 
SELECT 
  TUMBLE_ROWTIME(ts, INTERVAL '1' MINUTE) as rowtime,  --使用TUMBLE_ROWTIME作为二级Window的聚合时间。
  username, 
  COUNT(click_url) as cnt
FROM user_clicks
GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE),username;

BEGIN statement set;
INSERT INTO tumble_output
SELECT
  TUMBLE_START(rowtime, INTERVAL '1' HOUR),
  TUMBLE_END(rowtime, INTERVAL '1' HOUR),
  username,
  SUM(cnt)
FROM one_minute_window_output
GROUP BY TUMBLE(rowtime, INTERVAL '1' HOUR), username;
END;

中间数据

窗口的中间数据分为Keyed State和定时器（Timer）两类，可以分别存储在不同的存储介质中，您可以根据作业的特点选择不同的搭配，目前支持以下四种选择：

Keyed State存储

定时器存储介质

GeminiStateBackend

内存

HashMapStateBackend

内存

RocksDBStateBackend

内存

RocksDBStateBackend

文件

有关状态存储后端的选择请参见企业级状态后端存储介绍和HashMapStateBackend。定时器主要用于触发过期的窗口，在内存充裕的情况下，将定时器存储在内存中可以得到更好的性能；在定时器较多或内存资源紧张的情况下，您可以选择RocksDB StateBackend将定时器存储在RocksDB的文件中。

posted @ 2023-10-10 11:16  papering  阅读(331)  评论(0)  编辑  收藏  举报