摘要:
一致性检查点(Checkpoints)、从检查点恢复状态、检查点的实现算法、Flink检查点算法、保存点(Savepoints) 阅读全文
![Flink - [07] 容错机制](https://img2024.cnblogs.com/blog/1729889/202406/1729889-20240617164611612-101489430.png)
摘要:
题记部分 一、Flink中的状态 由一个任务维护,并且用来计算某个结果的所有数据,都属于这个任务的状态。 可以认为状态就是一个本地变量,可以被任务的业务逻辑访问。 Flink会进行状态管理,包括状态一致性、故障处理以及高效存储和访问,以便开发人员可以专注于应用程序的逻辑 在Flink中,状态始终与特 阅读全文
![Flink - [06] 状态管理](https://img2024.cnblogs.com/blog/1729889/202406/1729889-20240617164540876-428093363.png)
摘要:
题记部分 一、时间语义 Flink中的时间语义分为以下, (1)Event Time:事件创建的时间 (2)Ingestion Time:数据进入Flink的时间 (3)Processing Time:执行操作算子的本地系统事件,与机器相关 哪种时间语义更重要? 不同的时间语义有不同的应用场合,我们 阅读全文
![Flink - [05] 时间语义 & Watermark](https://img2024.cnblogs.com/blog/1729889/202406/1729889-20240617160114087-1668019043.png)
摘要:
题记部分 一、Flink中的窗口是什么 (1)一般真实的流都是无界的,怎样处理无界的数据? (2)可以把无限的数据流进行切分,得到有限的数据集进行处理 —— 也就是得到有界流 (3)窗口(Window)就是将无限流切割为有限流的一种方式,它会将流数据分发到有限大小的桶(bucket)中进行分析。 二 阅读全文
![Flink - [04] 窗口(Windows)](https://img2024.cnblogs.com/blog/1729889/202406/1729889-20240617153221284-1763721166.png)
摘要:
使用scala编写flink api从不同的数据源(源端)读取数据,并进行无界流/有界流的数据处理,最终将处理好的数据sink到对应的目标端 一、maven配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.a 阅读全文
![Flink - [03] API](https://img2024.cnblogs.com/blog/1729889/202406/1729889-20240617150656985-1326840730.png)