秋华 - 博客园

2020年8月4日

摘要：状态操作符和用户自定义函数都是我们在写流处理程序时，常用的工具。事实上，大部分稍微复杂一点的逻辑都需要保存数据或者保存计算结果。很多Flink内置的操作符例如：source操作符，sink操作符等等都是有状态的，也就是说会缓存流数据或者计算结果。例如，窗口操作符将会为ProcessWindowFun 阅读全文

posted @ 2020-08-04 11:51 秋华阅读(1545) 评论(0) 推荐(0) 编辑

Flink基础（十一）：DS简介(11) 基于时间和窗口的操作符（三）

摘要： 1 基于时间的双流Join 数据流操作的另一个常见需求是对两条数据流中的事件进行联结（connect）或Join。Flink DataStream API中内置有两个可以根据时间条件对数据流进行Join的算子：基于间隔的Join和基于窗口的Join。本节我们会对它们进行介绍。如果Flink内置的J 阅读全文

posted @ 2020-08-04 11:34 秋华阅读(905) 评论(0) 推荐(0) 编辑

2020年8月3日

Flink基础（十）：DS简介(10) 基于时间和窗口的操作符（二）

摘要： 1 窗口操作符窗口操作是流处理程序中很常见的操作。窗口操作允许我们在无限流上的一段有界区间上面做聚合之类的操作。而我们使用基于时间的逻辑来定义区间。窗口操作符提供了一种将数据放进一个桶，并根据桶中的数据做计算的方法。例如，我们可以将事件放进5分钟的滚动窗口中，然后计数。无限流转化成有限数据的方法阅读全文

posted @ 2020-08-03 23:21 秋华阅读(723) 评论(0) 推荐(0) 编辑

Flink基础（九）：DS简介(9) 基于时间和窗口的操作符（一）

摘要：在本章，我们将要学习DataStream API中处理时间和基于时间的操作符，例如窗口操作符。首先，我们会学习如何定义时间属性，时间戳和水位线。然后我们将会学习底层操作process function，它可以让我们访问时间戳和水位线，以及注册定时器事件。接下来，我们将会使用Flink的window 阅读全文

posted @ 2020-08-03 22:24 秋华阅读(860) 评论(0) 推荐(0) 编辑

Flink基础（八）：DS简介(8) Flink DataStream API（三）

摘要： 1 设置并行度 Flink应用程序在一个像集群这样的分布式环境中并行执行。当一个数据流程序提交到作业管理器执行时，系统将会创建一个数据流图，然后准备执行需要的操作符。每一个操作符将会并行化到一个或者多个任务中去。每个算子的并行任务都会处理这个算子的输入流中的一份子集。一个算子并行任务的个数叫做算子的阅读全文

posted @ 2020-08-03 21:34 秋华阅读(1033) 评论(0) 推荐(0) 编辑

Flink基础（七）：DS简介(7) Flink DataStream API（二）

摘要： 1 产生传感器读数代码编写（读取数据源） 1.1 从批读取数据 scala version val stream = env .fromElements( SensorReading("sensor_1", 1547718199, 35.80018327300259), SensorReading( 阅读全文

posted @ 2020-08-03 21:14 秋华阅读(1301) 评论(0) 推荐(0) 编辑

Flink基础（六）：DS简介(6) Flink DataStream API（一）

摘要：本章介绍了Flink DataStream API的基本知识。我们展示了典型的Flink流处理程序的结构和组成部分，还讨论了Flink的类型系统以及支持的数据类型，还展示了数据和分区转换操作。窗口操作符，基于时间语义的转换操作，有状态的操作符，以及和外部系统的连接器将在接下来的章节进行介绍。阅读完这阅读全文

posted @ 2020-08-03 20:49 秋华阅读(962) 评论(0) 推荐(0) 编辑

Flink基础（五）：DS简介(5) 开发环境准备以及编写第一个Flink程序

摘要： 1 在IDEA中编写Flink程序 Scala版Flink程序编写本项目使用的Flink版本为最新版本，也就是1.11.0。现在提供maven项目的配置文件。使用Intellij IDEA创建一个Maven新项目勾选Create from archetype，然后点击Add Archetype 阅读全文

posted @ 2020-08-03 19:54 秋华阅读(1187) 评论(0) 推荐(0) 编辑

Flink基础（四）：DS简介(4) Flink 运行架构

摘要： 1 系统架构 Flink是一个用于有状态的并行数据流处理的分布式系统。它由多个进程构成，这些进程一般会分布运行在不同的机器上。对于分布式系统来说，面对的常见问题有：集群中资源的分配和管理、进程协调调度、持久化和高可用的数据存储，以及故障恢复。对于这些分布式系统的经典问题，业内已有比较成熟的解决方案阅读全文

posted @ 2020-08-03 18:54 秋华阅读(1421) 评论(0) 推荐(0) 编辑

Flink基础（三）：DS简介(3) 流处理基础

摘要： 1 数据流编程简介在我们深入研究流处理的基础知识之前，让我们来看看在数据流程编程的背景和使用的术语。 1.1 数据流图顾名思义，数据流程序描述了数据如何在算子之间流动。数据流程序通常表示为有向图，其中节点称为算子，用来表示计算，边表示数据之间的依赖性。算子是数据流程序的基本功能单元。他们从输入消阅读全文

posted @ 2020-08-03 17:39 秋华阅读(1359) 评论(0) 推荐(0) 编辑

秋华

公告