随笔分类 - Flink
Flink CDC
摘要:# **第1章 CDC简介** ## 1.1 什么是CDC CDC是Change Data Capture(变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。 ## 1
Flink (三)DataStream API
摘要:第五章 DataStream API Flink有非常灵活的分层 API设计,其中的核心层就是 DataStream/DataSet API。由于**新版本已经实现了流批一体, DataSet API将被弃用,官方推荐统一使用 DataStream API处理流数据和批数据。**由于内容较多,我们将
Flink (二)Flink运行时架构
摘要:第四章 Flink运行时架构 4.1 系统架构 4.1.1 整体构成 Flink 的运行时架构中,最重要的就是两大组件:作业管理器(JobManger)和任务管理器(TaskManager)。对于一个提交执行的作业,JobManager 是真正意义上的“管理者”(Master), 负责管理调度,所以
Flink (一)概述+搭建
摘要:第一章 初识Flink Flink 是 Apache 基金会旗下的一个开源大数据处理框架。目前,Flink 已经成为各大公司大数据实时处理的发力重点,特别是国内以阿里为代表的一众互联网大厂都在全力投入,为Flink 社区贡献了大量源码。如今 Flink 已被很多人认为是大数据实时处理的方向和未来,许