流处理说明 有边界的流bounded stream:批数据 无边界的流unbounded stream:真正的流数据 Source 基于集合 package com.pzb.source; import org.apache.flink.api.common.RuntimeExecutionMode Read More
posted @ 2023-01-09 15:39
MrSponge
Views(499)
Comments(0)
Diggs(0)
Sink 1. Sink输出 1.1 预定义Sink 1.1.1 基于控制台和文件的Sink API 1.ds.print 直接输出到控制台 2.ds.printToErr() 直接输出到控制台,用红色 3.ds.writeAsText("本地/HDFS的path",WriteMode.OVERWR Read More
posted @ 2023-01-09 15:31
MrSponge
Views(1100)
Comments(0)
Diggs(0)
Time/Watermarker 时间分类 EventTime的重要性和Watermarker的引入 代码演示-开发版-掌握 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/event_timestamps_water Read More
posted @ 2023-01-09 15:25
MrSponge
Views(122)
Comments(0)
Diggs(0)
流处理说明 Transformation 基本操作 map/flatMap/filter/keyBy/sum/reduce... 和之前学习的Scala/Spark里面的一样的意思 map方法、flatmap方法、keyBy方法、reduce方法 map方法 map:将函数作用在集合中的每一个元素上 Read More
posted @ 2023-01-09 15:18
MrSponge
Views(139)
Comments(0)
Diggs(0)
Flink高级api 1. Flink四大基石 Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 1.1 Checkpoint 这是Flink最重要的一个特性。 Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快 Read More
posted @ 2023-01-09 15:12
MrSponge
Views(651)
Comments(0)
Diggs(0)
Process Flink 提供了 8 个不同的处理函数： （1） ProcessFunction 最基本的处理函数，基于DataStream 直接调用.process()时作为参数传入。 （2） KeyedProcessFunction 对流按键分区后的处理函数，基于 KeyedStream 调用 Read More
posted @ 2023-01-09 15:01
MrSponge
Views(184)
Comments(0)
Diggs(0)
数据表的操作 创建数据表时，要先 use 数据库名；来确定要操作的数据库。 创建数据表 CREATE [TEMPORARY] TABLE [IF NOT EXISTS] 表名 (字段名字段类型[字段属性]...)[表选项]； 表选项：DEFAULT CHARSET=utf8 表示默认表的编码格式为u Read More
posted @ 2023-01-09 14:59
MrSponge
Views(91)
Comments(0)
Diggs(0)
单表查询 SELECT [DISTINCT] *|<字段名1,字段名2,字段名3,...> FROM <表名> [WHERE <条件查询表达式1>] [GROUP BY <字段名> [HAVING <条件表达式2>]] [ORDER BY <字段名> [ASC|DESC]] [LIMIT [OFFS Read More
posted @ 2023-01-09 14:55
MrSponge
Views(181)
Comments(0)
Diggs(0)
浙公网安备 33010602011771号