2024 年 6月 17 日随笔档案 - HOUHUILIN

2024年6月17日

Flink - [07] 容错机制

摘要：

一致性检查点（Checkpoints）、从检查点恢复状态、检查点的实现算法、Flink检查点算法、保存点（Savepoints）阅读全文

posted @ 2024-06-17 16:58 HOUHUILIN 阅读(4) 评论(0) 推荐(0) 编辑

Flink - [06] 状态管理

摘要：

题记部分一、Flink中的状态由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态。可以认为状态就是一个本地变量，可以被任务的业务逻辑访问。 Flink会进行状态管理，包括状态一致性、故障处理以及高效存储和访问，以便开发人员可以专注于应用程序的逻辑在Flink中，状态始终与特阅读全文

posted @ 2024-06-17 16:45 HOUHUILIN 阅读(1) 评论(0) 推荐(0) 编辑

Flink - [05] 时间语义 & Watermark

摘要：

题记部分一、时间语义 Flink中的时间语义分为以下，（1）Event Time：事件创建的时间（2）Ingestion Time：数据进入Flink的时间（3）Processing Time：执行操作算子的本地系统事件，与机器相关哪种时间语义更重要？不同的时间语义有不同的应用场合，我们阅读全文

posted @ 2024-06-17 16:01 HOUHUILIN 阅读(5) 评论(0) 推荐(0) 编辑

Flink - [04] 窗口（Windows）

摘要：

题记部分一、Flink中的窗口是什么（1）一般真实的流都是无界的，怎样处理无界的数据？（2）可以把无限的数据流进行切分，得到有限的数据集进行处理 —— 也就是得到有界流（3）窗口（Window）就是将无限流切割为有限流的一种方式，它会将流数据分发到有限大小的桶（bucket）中进行分析。二阅读全文

posted @ 2024-06-17 15:32 HOUHUILIN 阅读(1) 评论(0) 推荐(0) 编辑

Flink - [03] API

摘要：

使用scala编写flink api从不同的数据源（源端）读取数据，并进行无界流/有界流的数据处理，最终将处理好的数据sink到对应的目标端一、maven配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.a 阅读全文

posted @ 2024-06-17 15:06 HOUHUILIN 阅读(1) 评论(0) 推荐(0) 编辑

HOUHUILIN

别在最好的年纪，辜负了最好的自己。

公告