Flink安装部署 local本地模式-了解 原理 操作 1.下载安装包 https://archive.apache.org/dist/flink/ 2.上传flink-1.13.1-bin-scala_2.12.tgz到node1的指定目录 3.解压 tar -zxvf flink-1.13.1 Read More
State-理解原理即可 Flink中状态的自动管理 之前写的Flink代码中其实已经做好了状态自动管理,如 发送hello ,得出(hello,1) 再发送hello ,得出(hello,2) 说明Flink已经自动的将当前数据和历史状态/历史结果进行了聚合,做到了状态的自动管理 在实际开发中绝大 Read More
合流 1、概念 将不同流中的数据汇聚在一起，然后可以进行一个统计等相关操作。 2、基本合流操作 union和connect union算子可以合并多个同类型的数据流，并生成同类型的数据流，即可以将多个DataStream[T]合并为一个新的DataStream[T]。数据将按照先进先出（First Read More
流处理说明 有边界的流bounded stream:批数据 无边界的流unbounded stream:真正的流数据 Source 基于集合 package com.pzb.source; import org.apache.flink.api.common.RuntimeExecutionMode Read More
Sink 1. Sink输出 1.1 预定义Sink 1.1.1 基于控制台和文件的Sink API 1.ds.print 直接输出到控制台 2.ds.printToErr() 直接输出到控制台,用红色 3.ds.writeAsText("本地/HDFS的path",WriteMode.OVERWR Read More
Time/Watermarker 时间分类 EventTime的重要性和Watermarker的引入 代码演示-开发版-掌握 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/event_timestamps_water Read More
流处理说明 Transformation 基本操作 map/flatMap/filter/keyBy/sum/reduce... 和之前学习的Scala/Spark里面的一样的意思 map方法、flatmap方法、keyBy方法、reduce方法 map方法 map:将函数作用在集合中的每一个元素上 Read More
Flink高级api 1. Flink四大基石 Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 1.1 Checkpoint 这是Flink最重要的一个特性。 Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快 Read More
Process Flink 提供了 8 个不同的处理函数： （1） ProcessFunction 最基本的处理函数，基于DataStream 直接调用.process()时作为参数传入。 （2） KeyedProcessFunction 对流按键分区后的处理函数，基于 KeyedStream 调用 Read More
数据表的操作 创建数据表时，要先 use 数据库名；来确定要操作的数据库。 创建数据表 CREATE [TEMPORARY] TABLE [IF NOT EXISTS] 表名 (字段名字段类型[字段属性]...)[表选项]； 表选项：DEFAULT CHARSET=utf8 表示默认表的编码格式为u Read More