Flink - 随笔分类 - JackYang

什么是有向无环图

摘要：有向无环图（Directed Acyclic Graph，DAG）是一种图论中的数据结构，由顶点（vertices）和边（edges）组成，其中每条边都有明确的方向，并且整个图是无环的，即图中不存在可以从一个顶点出发，经过一系列边后又回到该顶点的路径。在有向无环图中，每条边都从一个顶点指向另一个阅读全文

posted @ 2024-05-13 11:46 JackYang 阅读(374) 评论(0) 推荐(0) 编辑

Flink任务调度和执行流程-史上最通俗易懂的Flink源代码深入分析教程

摘要：Flink是一种用于大规模实时数据处理的开源流处理框架。在Flink中，任务调度和执行流程是非常重要的环节，因为这关系到任务的执行效率和结果质量。本文将详细分析Flink的任务调度和执行流程。一、任务调度在Flink中，一个任务可以由多个Task组成，每个Task是Flink程序的基本执行单元。阅读全文

posted @ 2023-03-29 13:47 JackYang 阅读(591) 评论(0) 推荐(0) 编辑

Apache Flink 分区算子Broadcast剖析-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.1定义 Broadcast算子是一种广播分区算子，它将同一份数据广播到所有分区中。Broadcast算子适用于需要对所有分区进行相同操作的情况下，可以避免多次传输同样的数据。 1.2Broadcast算子的实现流程 Broadcast算子的实现流程如下：广播数据集的划分：Flink会将广播数据阅读全文

posted @ 2023-03-12 01:28 JackYang 阅读(496) 评论(1) 推荐(1) 编辑

Apache Flink 分区算子Rescale剖析-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.概述 1.1定义 Rescale算子是一种轻量级的平衡分区算子，它将数据均匀分配到一部分分区中。Rescale算子适用于数据倾斜的情况下，但是相对于Rebalance算子，Rescale算子更加轻量级，对性能的影响更小。 1.2Rescale算子的实现流程 Rescale算子的实现流程如下：获阅读全文

posted @ 2023-03-12 01:05 JackYang 阅读(835) 评论(1) 推荐(1) 编辑

Apache Flink 分区算子Rebalance剖析-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.概述 1.1定义 Rebalance算子是一种平衡分区算子，它将数据均匀分配到所有分区中。Rebalance算子适用于数据倾斜的情况下，可以使所有分区的数据量相近，避免某些分区的数据过多导致性能下降。 1.2Rebalance算子的实现流程 Apache Flink中的分区算子Rebalance 阅读全文

posted @ 2023-03-12 00:50 JackYang 阅读(1261) 评论(1) 推荐(1) 编辑

Apache Flink 分区算子Shuffle剖析-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.概述 1.1定义 Shuffle是Apache Flink中的一个分区算子，用于将数据流进行随机分区。它可以将数据流中的每个元素随机地分配到下游算子的一个分区中，从而实现数据的随机分布。 1.2Shuffle算子的实现流程在Flink中，Shuffle算子可以将输入数据流的每个元素随机地分配到阅读全文

posted @ 2023-03-12 00:08 JackYang 阅读(1663) 评论(1) 推荐(1) 编辑

Apache Flink 分区算子KeyBy剖析-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.概述 Apache Flink中的KeyBy算子是一种根据指定Key将数据流分区的算子。在使用KeyBy算子时，需要指定一个或多个Key，Flink会根据这些Key将数据流分成不同的分区，以便并行处理。 KeyBy算子通常用于实现基于Key的聚合操作，如求和、平均值等。它可以将具有相同Key的数阅读全文

posted @ 2023-03-11 23:38 JackYang 阅读(5111) 评论(1) 推荐(2) 编辑

Flink核心概念-史上最通俗易懂的Flink源代码深入分析教程

摘要：Apache Flink是一个流式处理框架，它支持流和批处理，具有高性能、低延迟、高吞吐等优点。Flink的核心概念是DataStream和DataSet，它们分别代表流和批数据。DataStream和DataSet支持基于事件时间和处理时间的窗口操作、流数据的状态管理、分布式数据源和数据接收等功能阅读全文

posted @ 2023-03-11 21:05 JackYang 阅读(633) 评论(1) 推荐(1) 编辑

作业调度-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.定义 Flink作业调度是将Flink作业提交到Flink集群上，并根据作业的执行计划和资源需求等信息对作业进行优化、调度和分配，从而实现高效、可靠的作业执行的过程 2.设计思路：作业提交：Flink作业调度的第一步是将作业提交到集群上，提交方式可以通过命令行、Web界面或API等实现。作业阅读全文

posted @ 2023-03-11 17:29 JackYang 阅读(121) 评论(0) 推荐(1) 编辑

JobManager 数据结构-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.常用的数据结构定义 Flink中，JobManager内部维护了多个数据结构，用于存储和管理作业的元数据信息。以下是JobManager中常用的数据结构： JobGraph：JobGraph是Flink作业的执行计划，它描述了作业中各个算子之间的依赖关系，以及算子的并行度、数据分配等信息。Job 阅读全文

posted @ 2023-03-11 16:48 JackYang 阅读(224) 评论(0) 推荐(1) 编辑

Flink 架构-史上最通俗易懂的Flink源代码深入分析教程

摘要：Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如Hadoop YARN，但也可以设置作为独立集群甚至库运行。本节概述了 Flink 架构，并且描述了其主要组件如何交互以执行应用程序和从故障中恢复。 Flink 集群剖析 Flink 阅读全文

posted @ 2023-03-11 15:55 JackYang 阅读(443) 评论(0) 推荐(1) 编辑

StreamGraph、JobGraph、ExecutionGraph以及物理执行图-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.定义 StreamGraph、JobGraph、ExecutionGraph以及物理执行图是Apache Flink中实现流处理的关键组件，它们之间存在着层次结构和依赖关系，用于执行流处理任务。 StreamGraph StreamGraph是Flink的逻辑执行图，描述了整个流处理任务的流程和阅读全文

posted @ 2023-03-11 15:52 JackYang 阅读(296) 评论(1) 推荐(1) 编辑

SourceTransformation-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.定义 SourceTransformation的主要作用是将一个数据源转换为DataStream，以便对数据源进行各种处理操作，例如map、filter、join等。在Flink中，数据源可以是各种不同的数据源，例如Kafka、Socket、文件等。 2.使用示例下面是一个简单的示例，演示如何阅读全文

posted @ 2023-03-11 15:19 JackYang 阅读(105) 评论(1) 推荐(1) 编辑

DataStream-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.定义在Flink中，DataStream是一个分布式数据集，表示无限流或有限流的数据流。DataStream可以由一个或多个数据源创建，数据源可以是文件、集合、Kafka主题等。DataStream提供了一组API方法，可以对数据流进行转换、过滤、聚合等操作，并将结果发送到Sink（例如文件、阅读全文

posted @ 2023-03-11 14:56 JackYang 阅读(378) 评论(0) 推荐(1) 编辑

StreamExecutionEnvironment-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.定义 StreamExecutionEnvironment是Flink中用于定义和执行流处理程序的主要类。它提供了一系列函数和方法来配置流处理程序的执行环境（例如并行度、checkpoint、时间特性），并将其部署到Flink集群中运行。 2.主要功能和设计思路提供编程接口StreamExec 阅读全文

posted @ 2023-03-11 13:43 JackYang 阅读(1284) 评论(1) 推荐(1) 编辑

Flink源代码目录结构-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.概述 Flink是一个复杂的分布式计算框架，通过对其源代码进行分析，可以深入了解Flink的内部实现原理，包括任务调度、数据流处理、状态管理等方面。而从源代码目录入手，进行Flink源代码分析是非常必要的。因为Flink是一个开源的项目，其源代码是公开的，其组织结构非常清晰，不同模块的代码都被分阅读全文

posted @ 2023-03-09 00:50 JackYang 阅读(1192) 评论(0) 推荐(0) 编辑

Flink源代码分析重要性-史上最通俗易懂的Flink源代码深入分析教程

摘要：1.概述 Apache Flink是一个流式处理引擎，被广泛应用于大数据分析和实时数据处理。Flink的高性能和灵活性使其成为了许多企业的首选解决方案。Flink的代码量非常庞大，涉及到许多复杂的算法和数据结构。因此Flink源代码的阅读和理解需要开发人员具备一定的编程能力和技术水平。 2.Flin 阅读全文

posted @ 2023-03-09 00:33 JackYang 阅读(204) 评论(0) 推荐(0) 编辑

Flink简介小结-史上最通俗易懂的Flink源代码深入分析教程

摘要：Flink是一种流处理引擎，它具有高效、可靠和灵活的特点，可以帮助企业和机构实现实时数据处理和分析，提高业务效率和决策效果。本章通过介绍Flink的概述、历史和版本、社区和生态系统、与其他大数据技术的比较以及应用案例，全面阐述了Flink的特点和优势。在本小节我将简单回顾一下本章中提到的各个方面，阅读全文

posted @ 2023-03-07 10:36 JackYang 阅读(135) 评论(0) 推荐(0) 编辑

Flink的应用案例-史上最通俗易懂的Flink源代码深入分析教程

摘要：前言随着互联网技术的不断发展，数据量呈爆炸式增长，如何高效处理和分析这些数据成为了企业和组织面临的重大问题。在大数据技术中，Flink作为一种高效的流处理框架，被越来越多的企业和组织所应用。本文将介绍Flink在实际应用中的场景和案例，以便更好地了解Flink的优势和应用价值。金融领域在金阅读全文

posted @ 2023-03-07 10:08 JackYang 阅读(237) 评论(0) 推荐(0) 编辑

Flink的应用案例-史上最通俗易懂的Flink源代码深入分析教程

摘要：一、前言随着大数据技术的快速发展，越来越多的企业和组织开始关注和使用大数据技术来处理和分析海量数据。在众多的大数据技术中，Flink是一个备受关注的流处理框架。本文接下来内容将介绍Flink在实际应用中的场景和案例，以便大家更好地了解Flink的优势和不足之处。二、Flink在实际应用中的场景和阅读全文

posted @ 2023-03-06 01:56 JackYang 阅读(341) 评论(0) 推荐(1) 编辑

随笔分类 - Flink