摘要: Connectors Connectors连接器参考:https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/docs/connectors/datastream/overview/ Flink目前支持的Connectors Fli 阅读全文
posted @ 2022-05-28 20:43 残城碎梦 阅读(91) 评论(0) 推荐(0) 编辑
摘要: 前言 Sink 贴上一张官方对于sink的描述: 可以看到sink分为如下几类: writeAsText():基于文件的sink print()/printToErr():基于控制台的sink addSink:自定义的sink 基于控制台和文件的Sink API API如下: ds.print :直 阅读全文
posted @ 2022-05-28 20:40 残城碎梦 阅读(248) 评论(0) 推荐(0) 编辑
摘要: 前言 Transformation Transformation的官方API文档在:https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/datastream/operators/overview/ 操作概览如下图: 阅读全文
posted @ 2022-05-28 16:32 残城碎梦 阅读(174) 评论(0) 推荐(0) 编辑
摘要: 前言 Source对应的就是Flink编程模型里面的Data Source数据源: 在Flink官网,我们可以知道Source有如下几种类型: 中文即: File-based:基于文件的的Source Socket-based:基于Socket的Source Collection-based:基于集 阅读全文
posted @ 2022-05-28 15:59 残城碎梦 阅读(178) 评论(0) 推荐(0) 编辑
摘要: 开发前准备 理解Flink的 API 和 编程模型。 flink 文档:https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/ API Flink是由以下组件栈组成的: 物理部署层 RuntimeTime核心层 API & Lib 阅读全文
posted @ 2022-05-28 12:04 残城碎梦 阅读(311) 评论(0) 推荐(0) 编辑
摘要: Flink下载 本次以Flink 1.9.0版本为例。 下载 flink-1.9.0-bin-scala_2.12.tgz 下载后解压到 D:\flink\flink-1.9.0 目录 如果需要其他版本,可以访问链接下载:https://archive.apache.org/dist/flink/ 阅读全文
posted @ 2022-05-28 11:43 残城碎梦 阅读(723) 评论(0) 推荐(0) 编辑
摘要: Flink产生缘由 随着大数据时代的发展,海量数据和多种业务的实时处理需求激增,比如: 实时监控报警系统; 实时风控系统; 实时推荐系统等等。 传统的批处理方式和早期的流式处理框架因其自身的局限性,难以在延迟性、吞吐量、容错能力,以及使用便捷性等方面满足业务日益苛刻的要求。 在这种形势下,Flink 阅读全文
posted @ 2022-05-28 09:22 残城碎梦 阅读(346) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2022-05-28 08:50 残城碎梦 阅读(96) 评论(0) 推荐(0) 编辑