坤坤呀

摘要： 简介 在实际应用中，一般都需要将数据按照某个key进行分区，然后再进行计算处理；所以最为常见的状态类型就是KeyedState。之前介绍到keyBy之后的聚合、窗口计算，算子所持有的状态，都是KeyedState 另外，还可以通过富函数类（RichFunction）对转换算子进行扩展、实现自定义功能 阅读全文

摘要： 简介 在流处理中，数据是连续不断到来和处理的。每个任务进行计算处理时，可以基于当前数据直接转换得到输出结果；也可以依赖一些其他数据。这些由一个任务维护，并且用来计算输出结果的所有数据，就叫作这个任务的状态。 一、有状态算子 在Flink中，算子任务可以分为==无状态==和==有状态==两种情况。 无 阅读全文

摘要： 多流转换 无论是基本的简单转换和聚合，还是基于窗口的计算，都是针对一条流上的数据进行处理的。而在实际应用中，可能需要将不同来源的数据连接合并在一起处理，也有可能需要将 一条流拆分开，所以经常会有对多条流进行处理的场景。本章就来讨论Flink中对多条流进行转换的操作。 简单划分的话，多流转换可以分为“ 阅读全文

摘要： 一、基本处理函数 处理函数主要是定义数据流的转换操作，所以也可以把它归到转换算子中。我们知道在Flink中几乎所有转换算子都提供了对应的函数类接口，处理函数也不例外；它所对应的函数类，就叫作ProcessFunction。 1.处理函数的功能和使用 之前学习的转换算子，一般只是针对某种具体操作来定义 阅读全文

摘要： 窗口 我们已经了解了Flink中事件时间和水位线的概念，那它们有什么具体应用呢？当然是做基于时间的处理计算了。其中最常见的场景，就是窗口聚合计算。 之前我们已经了解了Flink中基本的聚合操作。在流处理中，我们往往需要面对的是连续不断、无休无止的无界流，不可能等到所有所有数据都到齐了才开始处理。所以 阅读全文

摘要： 水位线 在介绍事件时间语义时，提到了“水位线”的概念，已经知道了它其实就是用来度量事件时间的。那么水位线具体有什么含义，又跟数据的时间戳有什么关系呢？接下来就来深入探讨一下这个流处理中的核心概念。 一、事件时间和窗口 在实际应用中，一般会采用事件时间语义。而水位线，就是基于事件时间提出的概念。所以在 阅读全文

摘要： 时间语义 “时间”，从理论物理和哲学的角度解释，可能有些玄妙；但对于我们来说，它其实是生活中再熟悉不过的一个概念。一年365天，每天24小时，时间就像缓缓流淌的河，不疾不徐、无休无止地前进着，它是我们衡量事件发生和进展的标准尺度。如果想写抒情散文或是科幻小说，时间无疑是个绝好的题材。但这跟数据处理有 阅读全文

摘要： 概述 Flink 作为数据处理框架，最终还是要把计算处理的结果写入外部存储，为外部应用提供支持，如图所示，本节将主要讲解Flink中的Sink操作。之前已经了解Flink程序如何对数据进行读取、转换等操作，最后一步当然就应该将结果数据保存或输出到外部系统了。 在Flink中，如果希望将数据写入外部系 阅读全文

摘要： 说明: 所有源代码并非原创，转自：https://github.com/mingo-meo/floating-monitor monitor_Qthread.py from PyQt5.QtCore import * from PyQt5.QtGui import * from PyQt5.QtWi 阅读全文

摘要： 转换算子 数据源读入数据之后，就可以使用各种转换算子，将一个或多个DataStream转换为新的DataStream，如上所示。一个 Flink 程序的核心，其实就是所有的转换操作，它们决定了处理的业务逻辑。可以针对一条流进行转换处理，也可以进行分流、合流等多流转换操作，从而组合成复杂的数据流拓扑。 阅读全文