随笔分类 -  【吗喽的搬砖日常】 / Flink

Flink - [08] 状态一致性
摘要：Flink - [08] 状态一致性题记部分 一、什么是状态一致性 有状态的流处理，内部每个算子任务都可以有自己的状态。对于流处理器内部来说，所谓的状态一致性，其实就是我们所说的计算结果要保证准确、一条数据也不应该丢失，也不应该重复计算，在遇到故障时可以恢复状态，恢复以后的重新计算，结果应该也是完全正确的。 二、状态一致性分类 （1） 阅读全文
posted @ 2024-06-18 17:03 HOUHUILIN 阅读(37) 评论(0) 推荐(0) 编辑
Flink - [07] 容错机制
摘要：Flink - [07] 容错机制一致性检查点（Checkpoints）、从检查点恢复状态、检查点的实现算法、Flink检查点算法、保存点（Savepoints） 阅读全文
posted @ 2024-06-17 16:58 HOUHUILIN 阅读(15) 评论(0) 推荐(0) 编辑
Flink - [06] 状态管理
摘要：Flink - [06] 状态管理题记部分 一、Flink中的状态 由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态。 可以认为状态就是一个本地变量，可以被任务的业务逻辑访问。 Flink会进行状态管理，包括状态一致性、故障处理以及高效存储和访问，以便开发人员可以专注于应用程序的逻辑 在Flink中，状态始终与特 阅读全文
posted @ 2024-06-17 16:45 HOUHUILIN 阅读(22) 评论(0) 推荐(0) 编辑
Flink - [05] 时间语义 & Watermark
摘要：Flink - [05] 时间语义 & Watermark题记部分 一、时间语义 Flink中的时间语义分为以下， （1）Event Time：事件创建的时间 （2）Ingestion Time：数据进入Flink的时间 （3）Processing Time：执行操作算子的本地系统事件，与机器相关 哪种时间语义更重要？ 不同的时间语义有不同的应用场合，我们 阅读全文
posted @ 2024-06-17 16:01 HOUHUILIN 阅读(20) 评论(0) 推荐(0) 编辑
Flink - [04] 窗口（Windows）
摘要：Flink - [04] 窗口（Windows）题记部分 一、Flink中的窗口是什么 （1）一般真实的流都是无界的，怎样处理无界的数据？ （2）可以把无限的数据流进行切分，得到有限的数据集进行处理 —— 也就是得到有界流 （3）窗口（Window）就是将无限流切割为有限流的一种方式，它会将流数据分发到有限大小的桶（bucket）中进行分析。 二 阅读全文
posted @ 2024-06-17 15:32 HOUHUILIN 阅读(8) 评论(0) 推荐(0) 编辑
Flink - [03] API
摘要：Flink - [03] API使用scala编写flink api从不同的数据源（源端）读取数据，并进行无界流/有界流的数据处理，最终将处理好的数据sink到对应的目标端 一、maven配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.a 阅读全文
posted @ 2024-06-17 15:06 HOUHUILIN 阅读(9) 评论(0) 推荐(0) 编辑
Flink - [02] 安装部署（Standalone）
摘要：一、准备 1、角色规划 Flink Standalone 角色规划 节点名称 node01 node02 node03 master ○ worker ○ ○ zookeeper ○ ○ ○ 二、部署 1、在node01上解压：tar -zxvf flink-1.11.2-bin-scala_2.1 阅读全文
posted @ 2024-03-27 12:08 HOUHUILIN 阅读(35) 评论(0) 推荐(0) 编辑
Flink - [01] 概述
摘要：官网：https://flink.apache.org/ 一、Flink 是什么 是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布，数据通信以及容错机制等功能。 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。 是为分布式、高性能、随时空iji准确的流处理应用程序打 阅读全文
posted @ 2023-06-07 17:14 HOUHUILIN 阅读(21) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示