摘要: 有状态程序 在本节中,您将了解Flink为编写有状态程序提供的API。请看一下Stateful Stream Processing来了解有状态流处理背后的概念。 带键值的数据流 如果要使用键控状态,首先需要在DataStream上指定一个键,这个键应该用来分割状态(也包括流中的记录本身)。你可以在D 阅读全文
posted @ 2020-12-29 00:49 田野与天 阅读(218) 评论(0) 推荐(0) 编辑
摘要: 状态和容错 在本节中,您将了解Flink为编写有状态程序提供的API。请看一下Stateful Stream Processing来了解有状态流处理背后的概念。 下一步去哪里? Working with State: Shows how to use state in a Flink applica 阅读全文
posted @ 2020-12-29 00:34 田野与天 阅读(111) 评论(0) 推荐(0) 编辑
摘要: 内置水印生成器 正如在Generating Watermarks一文中所描述的,Flink提供了抽象,允许程序员分配自己的时间戳和发射自己的水印。更具体地说,可以通过实现WatermarkGenerator接口来实现。 为了进一步简化此类任务的编程工作,Flink自带了一些预先实现的时间戳分配器。本 阅读全文
posted @ 2020-12-29 00:32 田野与天 阅读(178) 评论(0) 推荐(0) 编辑
摘要: 生成水印 在本节中,您将了解 Flink 提供的 API,用于处理事件时间时间戳和水印。关于事件时间、处理时间和摄取时间的介绍,请参考事件时间的介绍。 水印策略介绍 为了使用事件时间,Flink需要知道事件的时间戳,这意味着流中的每个元素都需要分配其事件时间戳。这通常是通过使用TimestampAs 阅读全文
posted @ 2020-12-29 00:29 田野与天 阅读(376) 评论(0) 推荐(0) 编辑
摘要: 事件时间 在本节中,您将学习如何编写时间感知的Flink程序。请看一下及时流处理,了解及时流处理背后的概念。 关于如何在Flink程序中使用时间的信息请参考windowing和ProcessFunction。 需要注意的是,为了使用事件时间感知操作,程序需要使用直接为数据定义事件时间并自己发射水印的 阅读全文
posted @ 2020-12-29 00:20 田野与天 阅读(319) 评论(0) 推荐(0) 编辑
摘要: 执行模式(批处理/流处理) DataStream API 支持不同的运行时执行模式,您可以根据用例的要求和作业的特点从中选择。DataStream API 有一种 "经典 "的执行行为,我们称之为 STREAMING 执行模式。这应该用于需要连续增量处理并预计无限期保持在线的非绑定作业。此外,还有一 阅读全文
posted @ 2020-12-29 00:18 田野与天 阅读(444) 评论(0) 推荐(0) 编辑
摘要: Flink DataStream API编程指南 Flink中的DataStream程序是对数据流实现转换的常规程序(如过滤、更新状态、定义窗口、聚合)。数据流最初是由各种来源(如消息队列、套接字流、文件)创建的。结果通过汇流返回,例如可以将数据写入文件,或标准输出(例如命令行终端)。Flink程序 阅读全文
posted @ 2020-12-29 00:01 田野与天 阅读(174) 评论(0) 推荐(0) 编辑
摘要: 术语表 Flink Application Cluster Flink应用集群是一个专用的Flink集群,它只执行一个Flink应用的Flink作业。Flink集群的寿命与Flink应用的寿命绑定。 Flink Job Cluster Flink Job Cluster是一个专用的Flink Clu 阅读全文
posted @ 2020-12-28 23:42 田野与天 阅读(118) 评论(0) 推荐(0) 编辑
摘要: Flink架构 Flink是一个分布式系统,为了执行流式应用,需要对计算资源进行有效的分配和管理。它集成了所有常见的集群资源管理器,如Hadoop YARN、Apache Mesos和Kubernetes,但也可以设置为独立集群甚至作为库运行。 本节包含对Flink架构的概述,并描述其主要组件如何交 阅读全文
posted @ 2020-12-28 23:27 田野与天 阅读(192) 评论(0) 推荐(0) 编辑
摘要: 及时的流处理 介绍 及时流处理是有状态流处理的一种扩展,其中时间在计算中起着一定的作用。其中,当你做时间序列分析时,当做基于某些时间段(通常称为窗口)的聚合时,或者当你做事件处理时,事件发生的时间很重要时,都是这种情况。 在下面的章节中,我们将着重介绍一些您在使用及时Flink应用时应该考虑的主题。 阅读全文
posted @ 2020-12-28 23:17 田野与天 阅读(120) 评论(0) 推荐(0) 编辑