摘要: 有状态的流处理 什么是状态? 虽然数据流中的许多操作一次只看一个单独的事件(例如事件解析器),但有些操作会记住多个事件的信息(例如窗口操作符)。这些操作被称为有状态操作。一些有状态操作的例子。 - 当一个应用程序搜索某些事件模式时,状态将存储到目前为止遇到的事件序列。 - 当按分钟/小时/天聚合事件 阅读全文
posted @ 2020-12-28 23:10 田野与天 阅读(187) 评论(0) 推荐(0) 编辑
摘要: 概念-概览 实践培训解释了作为Flink的API基础的有状态和及时流处理的基本概念,并提供了这些机制如何在应用中使用的例子。有状态的流处理是在数据管道和ETL的背景下介绍的,并在容错部分进一步发展。在 "流分析 "一节中介绍了及时的流处理。 本概念深度部分提供了对Flink的架构和运行时如何实现这些 阅读全文
posted @ 2020-12-28 22:58 田野与天 阅读(84) 评论(0) 推荐(0) 编辑
摘要: 通过状态快照进行容错 状态后台 Flink管理的键控状态是一种碎片化的、键/值存储,每项键控状态的工作副本都被保存在负责该键的任务管理员的本地某处。操作员的状态也被保存在需要它的机器的本地。Flink会定期对所有状态进行持久化快照,并将这些快照复制到某个更持久的地方,比如分布式文件系统。 在发生故障 阅读全文
posted @ 2020-12-28 22:52 田野与天 阅读(99) 评论(0) 推荐(0) 编辑
摘要: 事件驱动的应用 处理函数 简介 ProcessFunction将事件处理与定时器和状态结合起来,使其成为流处理应用的强大构件。这是用Flink创建事件驱动应用的基础。它与RichFlatMapFunction非常相似,但增加了定时器。 例子 如果你做过 "流分析 "培训中的实战练习,你会记得它使用T 阅读全文
posted @ 2020-12-28 22:27 田野与天 阅读(193) 评论(0) 推荐(0) 编辑
摘要: 原子性A:一个事务内部的所有操作都是不可分割的,这叫原子性。一致性C:事务内部的所有操作要么都成功,要么都失败。隔离性I:事务与事务之间永远不相见。持久性D:就是说数据最终是落到磁盘永久保存的。 阅读全文
posted @ 2020-12-26 22:21 田野与天 阅读(306) 评论(0) 推荐(0) 编辑
摘要: 流式分析 事件时间和水印 介绍 Flink明确支持三种不同的时间概念。 事件时间:事件发生的时间,由产生(或存储)该事件的设备记录的时间 摄取时间:Flink在摄取事件时记录的时间戳。 处理时间:您的管道中的特定操作员处理事件的时间。 为了获得可重复的结果,例如,在计算某一天股票在交易的第一个小时内 阅读全文
posted @ 2020-12-26 14:27 田野与天 阅读(271) 评论(0) 推荐(0) 编辑
摘要: 数据管道和ETL 对于Apache Flink来说,一个非常常见的用例是实现ETL(提取、转换、加载)管道,从一个或多个源中获取数据,进行一些转换和/或丰富,然后将结果存储在某个地方。在这一节中,我们将看看如何使用Flink的DataStream API来实现这种应用。 请注意,Flink的Tabl 阅读全文
posted @ 2020-12-26 13:49 田野与天 阅读(197) 评论(0) 推荐(0) 编辑
摘要: DataStream API介绍 本次培训的重点是广泛地介绍DataStream API,使你能够开始编写流媒体应用程序。 哪些数据可以流化? Flink的DataStream APIs for Java和Scala将让你流式处理任何它们可以序列化的东西。Flink自己的序列化器被用于 基本类型,即 阅读全文
posted @ 2020-12-26 09:36 田野与天 阅读(124) 评论(0) 推荐(0) 编辑
摘要: 学习Flink:实践培训 本次培训的目标和范围 本培训介绍了Apache Flink,包括足够的内容让你开始编写可扩展的流式ETL,分析和事件驱动的应用程序,同时省略了很多(最终重要的)细节。本书的重点是为Flink管理状态和时间的API提供直接的介绍,希望在掌握了这些基础知识后,你能更好地从更详细 阅读全文
posted @ 2020-12-26 09:24 田野与天 阅读(142) 评论(0) 推荐(0) 编辑
摘要: Flink操作训练场 在各种环境中部署和操作Apache Flink的方法有很多。无论这种多样性如何,Flink集群的基本构件保持不变,类似的操作原则也适用。 在这个操场上,你将学习如何管理和运行Flink Jobs。您将看到如何部署和监控应用程序,体验Flink如何从Job故障中恢复,并执行日常操 阅读全文
posted @ 2020-12-25 18:29 田野与天 阅读(231) 评论(0) 推荐(0) 编辑