随笔分类 - Flink
摘要:字符串函数 STR_TO_MAP 语法: MAP STR_TO_MAP(VARCHAR text) MAP STR_TO_MAP(VARCHAR text, VARCHAR listDelimiter, VARCHAR keyValueDelimiter) 描述: 使用listDelimiter将t
阅读全文
摘要:Flink分层API Flink 根据抽象程度分层,提供了三种不同的 API。每一种 API 在简洁性和表达力上有着不同的侧重,并且针对不同的应用场景。 ProcessFunction 是 Flink 所提供最底层接口。ProcessFunction 可以处理一或两条输入数据流中的单个事件或者归入一
阅读全文
摘要:Tuple说明 Tuple 英文意思是 元组。 Tuple 是flink 一个很特殊的类型 (元组类型),是一个抽象类,共26个Tuple子类继承Tuple 他们是 Tuple0一直到Tuple25。 Tuple后的数字,代表每一个元组中可用空间(理解为插槽也行,每个字段对应一个插槽) 我们可将其理
阅读全文
摘要:Connectors Connectors连接器参考:https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/docs/connectors/datastream/overview/ Flink目前支持的Connectors Fli
阅读全文
摘要:前言 Sink 贴上一张官方对于sink的描述: 可以看到sink分为如下几类: writeAsText():基于文件的sink print()/printToErr():基于控制台的sink addSink:自定义的sink 基于控制台和文件的Sink API API如下: ds.print :直
阅读全文
摘要:前言 Transformation Transformation的官方API文档在:https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/datastream/operators/overview/ 操作概览如下图:
阅读全文
摘要:前言 Source对应的就是Flink编程模型里面的Data Source数据源: 在Flink官网,我们可以知道Source有如下几种类型: 中文即: File-based:基于文件的的Source Socket-based:基于Socket的Source Collection-based:基于集
阅读全文
摘要:开发前准备 理解Flink的 API 和 编程模型。 flink 文档:https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/ API Flink是由以下组件栈组成的: 物理部署层 RuntimeTime核心层 API & Lib
阅读全文
摘要:Flink产生缘由 随着大数据时代的发展,海量数据和多种业务的实时处理需求激增,比如: 实时监控报警系统; 实时风控系统; 实时推荐系统等等。 传统的批处理方式和早期的流式处理框架因其自身的局限性,难以在延迟性、吞吐量、容错能力,以及使用便捷性等方面满足业务日益苛刻的要求。 在这种形势下,Flink
阅读全文