摘要：
flink的通信框架基于akka，但是不懂akka也关系不大。 首先介绍几个概念，大家记住名字和对应的作用： xxxGateway：在flink中就是一个用来告诉调用者，xxx具有哪些方法可以调用的一个接口类。比如JobMasterGateway就是用来告诉所有需要调用JobMaster的用户，我J 阅读全文
摘要：
Flink是一个分布式流处理框架，它提供了丰富的操作符来处理流数据。双流(join)操作是其中一个常用的操作，用于将两个流的数据按照指定的条件进行关联。Flink的底层实现使用了一种称为“流的连接”(stream co-processing)的技术。 在Flink中，双流(join)操作通过以下步骤 阅读全文
摘要：
当Flink双流(join)操作的时间窗口过大时，可能会导致以下问题： 1. 内存消耗：时间窗口大小直接影响Flink系统的内存消耗。较大的时间窗口会导致需要维护更多的状态数据，从而占用更多的内存资源。 2. 延迟增加：大时间窗口可能会导致延迟增加。如果窗口的大小超过了数据流的延迟，那么在触发窗口计 阅读全文
摘要：
不，Flink的双流(join)操作并不要求两个流都是滑动窗口。在双流(join)操作中，每个流可以使用不同类型的窗口，包括滑动窗口、滚动窗口或其他类型的窗口。 在Flink中，可以对每个输入流分别定义不同的窗口类型和参数，以满足实际的业务需求。只要两个流在关联键上能够匹配，并且窗口定义能够适配，就 阅读全文
摘要：
Flink的状态表保存的时间可以根据应用程序的需求进行配置。状态表的保留时间取决于两个因素： 1. **状态后端（State Backend）的配置**：Flink支持不同类型的状态后端，如内存、文件系统、RocksDB等。不同的状态后端可以配置不同的状态保留策略。例如，如果使用基于内存的状态后端， 阅读全文
摘要：
当发生故障时，Flink从最近的一致性检查点中恢复任务的状态。以下是从检查点恢复的主要步骤： 1. **加载检查点元数据和状态数据**：Flink首先加载最近一次成功的检查点的元数据和持久化的状态数据。检查点的元数据包含了关于检查点的信息，如检查点ID、生成时间和相关的任务信息等。持久化的状态数据包 阅读全文
摘要：
在Flink中，各个算子（算子链中的每个算子）在收到 barrier（检查点屏障）时会执行以下操作： 1. **算子状态快照**：算子会触发对其状态的快照操作，以捕获当前状态的一致性快照。这包括算子的运行时状态、缓冲区或累加器等数据。 2. **处理挂起输入数据**：算子会将收到的 barrier 阅读全文
摘要：
在Flink中，多输入的算子在决定是否可以往下发 barrier 时需要满足以下条件： 1. **输入流的 barrier 对齐**：多输入的算子必须要求所有输入流都处于 barrier 对齐状态，即收到了相同的 barrier。这意味着所有输入流的上游任务都已经收到了相同的 barrier，并向下 阅读全文
摘要：
在Flink中，Keyed State（键控状态）和 Operator State（操作符状态）是两种不同类型的状态，用于在算子执行过程中维护和管理数据。 **Keyed State**： - Keyed State是与特定键关联的状态，它与特定键值对相关联，并且根据键进行分区和管理。在Keyed 阅读全文
摘要：
在Flink中，广播流（Broadcast Stream）是一种特殊的数据流类型，用于将一个数据流广播到所有并行任务中，以供每个任务共享和使用。广播流通常用于将静态数据（如维表数据）发送给所有任务，以便任务可以在本地缓存该数据，避免多次访问外部存储系统。 广播流的特点如下： - 广播流只有一个并行度 阅读全文