摘要：多流转换 无论是基本的简单转换和聚合，还是基于窗口的计算，都是针对一条流上的数据进行处理的。而在实际应用中，可能需要将不同来源的数据连接合并在一起处理，也有可能需要将 一条流拆分开，所以经常会有对多条流进行处理的场景。本章就来讨论Flink中对多条流进行转换的操作。 简单划分的话，多流转换可以分为“ 阅读全文

摘要：一、基本处理函数 处理函数主要是定义数据流的转换操作，所以也可以把它归到转换算子中。我们知道在Flink中几乎所有转换算子都提供了对应的函数类接口，处理函数也不例外；它所对应的函数类，就叫作ProcessFunction。 1.处理函数的功能和使用 之前学习的转换算子，一般只是针对某种具体操作来定义 阅读全文

摘要：窗口 我们已经了解了Flink中事件时间和水位线的概念，那它们有什么具体应用呢？当然是做基于时间的处理计算了。其中最常见的场景，就是窗口聚合计算。 之前我们已经了解了Flink中基本的聚合操作。在流处理中，我们往往需要面对的是连续不断、无休无止的无界流，不可能等到所有所有数据都到齐了才开始处理。所以 阅读全文

摘要：水位线 在介绍事件时间语义时，提到了“水位线”的概念，已经知道了它其实就是用来度量事件时间的。那么水位线具体有什么含义，又跟数据的时间戳有什么关系呢？接下来就来深入探讨一下这个流处理中的核心概念。 一、事件时间和窗口 在实际应用中，一般会采用事件时间语义。而水位线，就是基于事件时间提出的概念。所以在 阅读全文

摘要：时间语义 “时间”，从理论物理和哲学的角度解释，可能有些玄妙；但对于我们来说，它其实是生活中再熟悉不过的一个概念。一年365天，每天24小时，时间就像缓缓流淌的河，不疾不徐、无休无止地前进着，它是我们衡量事件发生和进展的标准尺度。如果想写抒情散文或是科幻小说，时间无疑是个绝好的题材。但这跟数据处理有 阅读全文