随笔分类 - flink基础
第五章 搭建maven工程及测试
摘要:# 搭建maven工程及测试 ## 5.1 准备pom文件 ```xml 4.0.0 com.atguigu.flink flink 1.0-SNAPSHOT org.apache.flink flink-scala_2.11 1.7.0 org.apache.flink flink-streami
阅读全文
第三章 Flink 集群搭建
摘要:# Flink集群搭建 ```text Flink 可以选择的部署方式有: Local、Standalone(资源利用率低)、Yarn、Mesos、Docker、Kubernetes、AWS。 我们主要对 Standalone 模式和 Yarn 模式下的 Flink 集群部署进行分析。 我们对sta
阅读全文
第四章 Flink 运行架构
摘要:# Flink 运行架构 ## 4.1 Yarn 模式任务提交流程  ``` text (1)Flink任
阅读全文
第二章 Flink之基本架构
摘要:# Flink基本架构 ## 2.1 JobManager 与 TaskManager Flink 运行时包含了两种类型的处理器: **JobManager 处理器**:也称之为 Master,用于协调分布式执行,它们用来调度 task,协调检查点,协调失败时恢复等。Flink 运行时至少存在一个
阅读全文
第一章 Flink之概述
摘要:# 概述 ## 1.1 流处理技术的演变 在开源世界里,Apache Storm 项目是流处理的先锋。Storm 最早由 Nathan Marz和创业公司 BackType 的一个团队开发,后来才被 Apache 基金会接纳。Storm 提供了低延迟的流处理,但是它为实时性付出了一些代价:**很难实
阅读全文