摘要: 有状态程序 在本节中,您将了解Flink为编写有状态程序提供的API。请看一下Stateful Stream Processing来了解有状态流处理背后的概念。 带键值的数据流 如果要使用键控状态,首先需要在DataStream上指定一个键,这个键应该用来分割状态(也包括流中的记录本身)。你可以在D 阅读全文
posted @ 2020-12-29 00:49 田野与天 阅读(218) 评论(0) 推荐(0) 编辑
摘要: 状态和容错 在本节中,您将了解Flink为编写有状态程序提供的API。请看一下Stateful Stream Processing来了解有状态流处理背后的概念。 下一步去哪里? Working with State: Shows how to use state in a Flink applica 阅读全文
posted @ 2020-12-29 00:34 田野与天 阅读(111) 评论(0) 推荐(0) 编辑
摘要: 内置水印生成器 正如在Generating Watermarks一文中所描述的,Flink提供了抽象,允许程序员分配自己的时间戳和发射自己的水印。更具体地说,可以通过实现WatermarkGenerator接口来实现。 为了进一步简化此类任务的编程工作,Flink自带了一些预先实现的时间戳分配器。本 阅读全文
posted @ 2020-12-29 00:32 田野与天 阅读(178) 评论(0) 推荐(0) 编辑
摘要: 生成水印 在本节中,您将了解 Flink 提供的 API,用于处理事件时间时间戳和水印。关于事件时间、处理时间和摄取时间的介绍,请参考事件时间的介绍。 水印策略介绍 为了使用事件时间,Flink需要知道事件的时间戳,这意味着流中的每个元素都需要分配其事件时间戳。这通常是通过使用TimestampAs 阅读全文
posted @ 2020-12-29 00:29 田野与天 阅读(376) 评论(0) 推荐(0) 编辑
摘要: 事件时间 在本节中,您将学习如何编写时间感知的Flink程序。请看一下及时流处理,了解及时流处理背后的概念。 关于如何在Flink程序中使用时间的信息请参考windowing和ProcessFunction。 需要注意的是,为了使用事件时间感知操作,程序需要使用直接为数据定义事件时间并自己发射水印的 阅读全文
posted @ 2020-12-29 00:20 田野与天 阅读(319) 评论(0) 推荐(0) 编辑
摘要: 执行模式(批处理/流处理) DataStream API 支持不同的运行时执行模式,您可以根据用例的要求和作业的特点从中选择。DataStream API 有一种 "经典 "的执行行为,我们称之为 STREAMING 执行模式。这应该用于需要连续增量处理并预计无限期保持在线的非绑定作业。此外,还有一 阅读全文
posted @ 2020-12-29 00:18 田野与天 阅读(444) 评论(0) 推荐(0) 编辑
摘要: Flink DataStream API编程指南 Flink中的DataStream程序是对数据流实现转换的常规程序(如过滤、更新状态、定义窗口、聚合)。数据流最初是由各种来源(如消息队列、套接字流、文件)创建的。结果通过汇流返回,例如可以将数据写入文件,或标准输出(例如命令行终端)。Flink程序 阅读全文
posted @ 2020-12-29 00:01 田野与天 阅读(174) 评论(0) 推荐(0) 编辑