Flink 触发器
摘要：1、什么是触发器触发器决定了一个窗口何时可以被窗口函数处理(条件满足时触发并发出信号) 每一个WindowAssigner都有一个默认的触发器，如果默认的触发器不能满足你的需要，你可以通过调用trigger(...)来指定一个自定义的触发器 触发器有5个方法来允许触发器处理不同的事件(Trigger
阅读全文
posted @
2020-04-05 18:04
Ruthless
阅读(3329)
推荐(1) 编辑
Flink Window那些事——ProcessWindowFunction/ProcessAllWindowFunction
摘要：全量聚合: 窗口需要维护全部原始数据，窗口触发进行全量聚合。 ProcessWindowFunction获得一个包含窗口所有元素的可迭代器，以及一个具有时间和状态信息访问权的上下文对象，这使得它比其他窗口函数提供更大的灵活性。这是以性能和资源消耗为代价的，因为元素不能增量地聚合，而是需要在内部缓冲，
阅读全文
posted @
2020-03-29 12:47
Ruthless
阅读(10196)
推荐(0) 编辑
Flink Window那些事——AggregateFunction窗口函数
摘要：AggregateFunction 比 ReduceFunction 更加的通用，它有三个参数:输入类型(IN)、累加器类型(ACC)和输出类型(OUT)。 输入类型是输入流中的元素类型，AggregateFunction有一个add方 法可以将一个输入元素添加到一个累加器中。该接口还具有创建初始累
阅读全文
posted @
2020-03-29 12:44
Ruthless
阅读(8330)
推荐(4) 编辑
Flink Window那些事——窗口函数
摘要：Window Function在窗口触发后，负责对窗口内的元素进行计算。Window Function分为两类: 增量聚合和全量聚合。 增量聚合: 窗口不维护原始数据，只维护中间结果，每次基于中间结果和增量数据进行聚合。如: ReduceFunction、AggregateFunction。全量聚合
阅读全文
posted @
2020-03-29 11:08
Ruthless
阅读(1578)
推荐(0) 编辑
Flink Window那些事——Window小分类(Window Assinger类型)
摘要：1、Window Assinger是干啥的当你决定stream是否keyby之后，window是没有构建的，你还需要指定一个window Assinger用于定义元素如何分配到窗口中。 2、window Assinger如何指定？Keyedstream：window(WindowAssigner)
阅读全文
posted @
2020-03-28 21:57
Ruthless
阅读(873)
推荐(0) 编辑
Flink Window那些事——Window大分类/生命周期/分配器
摘要：1、啥是Window？Window有啥作用？ Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这
阅读全文
posted @
2020-03-28 12:00
Ruthless
阅读(981)
推荐(1) 编辑
Flink从socket读取数据sink到redis
摘要：import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastr
阅读全文
posted @
2020-03-25 21:49
Ruthless
阅读(1990)
推荐(0) 编辑
Apache Flink DataStream API
摘要：Apache Flink DataStream API
阅读全文
posted @
2020-03-25 10:50
Ruthless
阅读(226)
推荐(0) 编辑
Flink基本API的使用二
摘要：上一篇介绍了编写 Flink 程序的基本步骤，以及一些常见 API，如：map、filter、keyBy 等，重点介绍了 keyBy 方法。本篇将继续介绍 Flink 中常用的 API，主要内容为： 1.指定 transform 函数2.Flink 支持的数据类型3.累加器 1、指定 transfo
阅读全文
posted @
2020-03-24 11:37
Ruthless
阅读(1299)
推荐(0) 编辑
Flink基本API的使用一
摘要：Flink使用 DataSet 和 DataStream 代表数据集。DateSet 用于批处理，代表数据是有限的，而 DataStream 用于流数据，代表数据是无界的。数据集中的数据是不可以变的，也就是说不能对其中的元素增加或删除。我们通过数据源创建 DataSet 或者 DataStream
阅读全文
posted @
2020-03-15 17:25
Ruthless
阅读(1075)
推荐(0) 编辑
hadoop高可用集群搭建
摘要：1、集群规划1.1、主机配置环境 172.16.0.11 node60 172.16.0.13 node89 172.16.0.8 node145 1.2、安装后启动的进程 2、修改host文件希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的host。
阅读全文
posted @
2020-03-08 21:11
Ruthless
阅读(3014)
推荐(0) 编辑
Flink batch/stream编程套路
摘要：DataSet and DataStream 这里以WordCount为例，共同的编程套路如下所示： 1.获取执行环境(execution environment) final StreamExecutionEnvironment env = StreamExecutionEnvironment.g
阅读全文
posted @
2020-03-07 23:06
Ruthless
阅读(963)
推荐(0) 编辑
Apache Flink Local模式部署——批处理和流处理
摘要：Apache Flink部署模式有如下三种模式：Flink Local 模式 Flink Standalone 模式 Flink ON YARN 模式 本文主要介绍Apache Flink的本地部署模式。 本地部署模式主要用于开发者程序调试测试使用。 1、启动Flink $ cd D:\dev\fl
阅读全文
posted @
2020-03-07 22:26
Ruthless
阅读(2866)
推荐(0) 编辑
Eclipse离线手动安装Scala插件
摘要：Eclipse离线手动安装Scala插件 http://scala-ide.org/download/prev-stable.html
阅读全文
posted @
2020-03-06 15:11
Ruthless
阅读(1032)
推荐(0) 编辑
CentOS7 安装Scala
摘要：1、下载Scala2.11$ cd /root/soft$ wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz 2、安装Scala2.11$ tar -xzvf scala-2.11.8.tgz 3、配置环境变量$ v
阅读全文
posted @
2020-03-06 14:39
Ruthless
阅读(1539)
推荐(0) 编辑
Windows下安装Scala
摘要：Scala是一种类似Java的纯面向对象的函数式编程语言，由于函数具有明确的确定输入对确定输出的关系，所以适合推理和计算，一切函数都可以看成一系列的计算组成，另外由于Scala函数是没有副作用和透明的，所以非常适合做多核并行计算和云计算，现在正被越来越多的应用到生产中。 1、下载首先去官网http:
阅读全文
posted @
2020-03-06 14:16
Ruthless
阅读(496)
推荐(0) 编辑
Flink安装及使用
摘要：1、官网下载Flink## 官网地址$ https://flink.apache.org/downloads.html ## 下载地址$ wget http://mirror.bit.edu.cn/apache/flink/flink-1.9.2/flink-1.9.2-bin-scala_2.11
阅读全文
posted @
2020-03-06 11:30
Ruthless
阅读(19105)
推荐(3) 编辑
