摘要：一、Flink Window窗口机制：时间窗口（TimeWindow） ### 滚动时间窗口（T目标领Window）基于事件驱动 ~~~ # 场景： ~~~ 当我们想要每100个用户的购买行为作为驱动，那么每当窗口中填满100个”相同”元素了， ~~~ 就会对窗口进行计算。 二、编程代码实现 ###
阅读全文
摘要：一、Flink window窗口机制：滑动时间窗口（Sliding Window） ### Flink window窗口机制：滑动时间窗口（Sliding Window） ~~~ 滑动时间窗口Sliding Window ### 滑动时间窗口说明 ~~~ 滑动窗口是固定窗口的更广义的一种形式，滑动窗
阅读全文
摘要：一、Flink Table API和SQL_API ### Flink Table API Flink SQL_API ~~~ Apache Flink提供了两种顶层的关系型API，分别为Table API和SQL， ~~~ Flink通过Table API&SQL实现了批流统一。 ~~~ 其中Ta
阅读全文
摘要：一、Flink Window窗口机制 ### Flink Window 背景 ~~~ Flink认为Batch是Streaming的一个特例，因此Flink底层引擎是一个流式引擎， ~~~ 在上面实现了流处理和批处理。而Window就是从Streaming到Batch的桥梁。 ~~~ 通俗讲，Win
阅读全文
摘要：一、Flink DataSet常用API ### Flink DataSet常用API ~~~ DataSet API同DataStream API一样有三个组成部分，各部分作用对应一致，此处不再赘述 二、DataSource ### DataSource ~~~ 对DataSet批处理而言，较为频
阅读全文
摘要：一、DataStream常用API：Sink ### Sink ~~~ # Flink针对DataStream提供了大量的已经实现的数据目的地（Sink），具体如下所示 ~~~ writeAsText()：讲元素以字符串形式逐行写入，这些字符串通过调用每个元素的toString()方法来获取 ~~~
阅读全文
摘要：一、导入mysql依赖 ### 在pom.xml文件下写入mysql依赖 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.21</version> </d
阅读全文
摘要：一、Flink DataStream常用API：Transformation ### Transformation ~~~ Flink针对DataStream提供了大量的已经实现的算子 二、Flink DataStream常用API：Transformation算子 ### Map ~~~ Data
阅读全文
摘要：一、Flink DataStream常用API：Transformation ### 编程实现：ConnectDemo.java package com.yanqi.streamtransformation; import com.yanqi.streamdatasource.SelfSourceP
阅读全文
摘要：一、DataSource自定义数据源 ### 自定义输入 ~~~ 可以使用StreamExecutionEnvironment.addSource(sourceFunction)将一个流式数据源加到程序中。 ~~~ Flink提供了许多预先实现的源函数，但是也可以编写自己的自定义源， ~~~ 方法是
阅读全文
摘要：一、[方法一：没有并行度数据源]：编程代码实现：没有并行度数据源 ### 自定义数据源：没有并行度数据源：为非并行源implements SourceFunction， package com.yanqi.streamdatasource; import org.apache.flink.strea
阅读全文
摘要：一、Flink常用API详解 ### Flink常用API详解 ~~~ DataStream API主要分为3块：DataSource、Transformation、Sink ~~~ DataSource是程序的数据源输入， ~~~ 可以通过StreamExecutionEnvironment.ad
阅读全文
摘要：一、DataSource基于Socket ### DataSource基于Socket读取数据流 ~~~ # socketTextStream从Socket中读取数据，元素可以通过一个分隔符分开 二、编程代码实现 ### 编程代码实现 package com.yanqi.java; import o
阅读全文
摘要：一、DataSource基于集合：fromCollection(Collection) ### DataSource基于集合：fromCollection(Collection) ~~~ # 通过Java的Collection集合创建一个数据流，集合中的所有元素必须是相同类型的如果满足以下条件， ~
阅读全文
摘要：NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要：一、在IDEA下导入打jar插件 ### 将WordCountScalaStream打成jar包 ~~~ 注意：集群搭建完毕后，Flink程序就可以打成Jar， ~~~ 在集群环境下类似于Step7中一样提交执行计算任务打jar包插件： ~~~ 该插件可以把包含所有的Flink程序需要的所有的依赖文
阅读全文
摘要：一、Flink.Yarn模式部署 ### 启动一个YARN session(Start a long-running Flink cluster on YARN)； ~~~ 方式一：yarn session启动 ~~~ 方式二：per job方式启动 二、YARN Session方式：Flink.y
阅读全文
摘要：一、方式一：Per job方式 ### 方式一：Per job方式 ~~~ 直接在YARN上提交运行Flink作业(Run a Flink job on YARN) 二、Per job启动流程 三、Per job方式启动实例 ### 启动一个应用实例 ~~~ # 启动一个实例 [root@hadoo
阅读全文
摘要：一、Flink运行架构：Flink程序结构 ### Flink程序结构 ~~~ Flink程序的基本构建块是流和转换（请注意，Flink的DataSet API中使用的DataSet也是内部流）。 ~~~ 从概念上讲，流是（可能永无止境的）数据记录流，而转换是将一个或多个流输入， ~~~ 并产生一个
阅读全文
摘要：一、Flink安装和部署 ### Flink支持多种安装模式 ~~~ local（本地）：单机模式，一般本地开发调试使用 ~~~ StandAlone 独立模式：Flink自带集群，自己管理资源调度，生产环境也会有所应用 ~~~ Yarn模式：计算资源统一由Hadoop YARN管理，生产环境应用较
阅读全文
