摘要：一、Flink的重要角色 ### Flink的重要角色 ~~~ # Flink是非常经典的Master/Slave结构实现，JobManager是Master，TaskManager是Slave。 ~~~ # JobManager处理器（Master） ~~~ 协调分布式执行，它们用来调度task，
阅读全文
摘要：NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要：一、单词统计案例（流数据） ### 需求 ~~~ Socket模拟实时发送单词，使用Flink实时接收数据， ~~~ 对指定时间窗口内（如5s）的数据进行聚合统计，每隔1s汇总计算一次， ~~~ 并且把时间窗口内计算结果打印出来。 二、编程代码实现 ### 代码实现 import org.apach
阅读全文
摘要：一、单词统计案例（流数据） ### 需求 ~~~ Socket模拟实时发送单词，使用Flink实时接收数据， ~~~ 对指定时间窗口内（如5s）的数据进行聚合统计，每隔1s汇总计算一次， ~~~ 并且把时间窗口内计算结果打印出来。 二、编程代码实现 ### 代码实现 package com.yanq
阅读全文
摘要：一、Flink快速应用 ### Flink快速应用 ~~~ 通过一个单词统计的案例，快速上手应用Flink，进行流处理（Streaming）和批处理（Batch） 二、单词统计案例（批数据）——>Java版 ### 需求 ~~~ 统计一个文件中各个单词出现的次数，把统计结果输出到文件 ~~~ # 步
阅读全文
摘要：一、单词统计案例（批数据）——>scala版 ### 需求 ~~~ 统计一个文件中各个单词出现的次数，把统计结果输出到文件 ### 创建scala资源文件夹 ~~~ 创建scala资源文件夹并导入scala依赖环境 二、编程代码实现 ### 编程代码实现 import org.apache.flin
阅读全文
摘要：一、Flink 处理模型：流处理与批处理 ### Flink 专注于无限流处理，有限流处理是无限流处理的一种特殊情况 ~~~ # 无限流处理： ~~~ 输入的数据没有尽头，像水流一样源源不断 ~~~ 数据处理从当前或者过去的某一个时间 点开始，持续不停地进行 ~~~ # 有限流处理： ~~~ 从某一
阅读全文
摘要：一、Flink概述：什么是Flink ### 什么是 Flink ~~~ Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。 ~~~ Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 ~~~ Flink起源于2008年柏林理工大
阅读全文
摘要：一、Flink 应用场景 ### Flink应用场景 ~~~ Flink主要应用于流式数据分析场景 ~~~ 数据无处不在，绝大多数的企业所采取的处理数据的架构都会划分成两类： ~~~ 事务型处理、分析型处理 二、事务型处理 ### 事务性处理 ~~~ OLTP On-Line Transaction
阅读全文
摘要：一、Flink 核心组成及生态发展 ### Flink核心组成 ~~~ # Deploy层： ~~~ 可以启动单个JVM，让Flink以Local模式运行 ~~~ Flink也可以以Standalone 集群模式运行，同时也支持Flink ON YARN， ~~~ Flink应用直接提交到YARN上
阅读全文
摘要：NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
