摘要:
有状态的流处理 什么是状态? 虽然数据流中的许多操作一次只看一个单独的事件(例如事件解析器),但有些操作会记住多个事件的信息(例如窗口操作符)。这些操作被称为有状态操作。一些有状态操作的例子。 - 当一个应用程序搜索某些事件模式时,状态将存储到目前为止遇到的事件序列。 - 当按分钟/小时/天聚合事件 阅读全文
摘要:
概念-概览 实践培训解释了作为Flink的API基础的有状态和及时流处理的基本概念,并提供了这些机制如何在应用中使用的例子。有状态的流处理是在数据管道和ETL的背景下介绍的,并在容错部分进一步发展。在 "流分析 "一节中介绍了及时的流处理。 本概念深度部分提供了对Flink的架构和运行时如何实现这些 阅读全文
摘要:
通过状态快照进行容错 状态后台 Flink管理的键控状态是一种碎片化的、键/值存储,每项键控状态的工作副本都被保存在负责该键的任务管理员的本地某处。操作员的状态也被保存在需要它的机器的本地。Flink会定期对所有状态进行持久化快照,并将这些快照复制到某个更持久的地方,比如分布式文件系统。 在发生故障 阅读全文
摘要:
事件驱动的应用 处理函数 简介 ProcessFunction将事件处理与定时器和状态结合起来,使其成为流处理应用的强大构件。这是用Flink创建事件驱动应用的基础。它与RichFlatMapFunction非常相似,但增加了定时器。 例子 如果你做过 "流分析 "培训中的实战练习,你会记得它使用T 阅读全文