Flink CDC简介-flinkcdc-jian-jie

Flink CDC官方文档

什么是 Flink CDC¶

Flink CDC Connectors 是Apache Flink的一组源连接器，使用变更数据捕获 (CDC) 从不同数据库中获取变更。Flink CDC Connectors 集成 Debezium 作为捕获数据变化的引擎。所以它可以充分发挥 Debezium 的能力。详细了解Debezium是什么。

支持的连接器¶

Database	Version
MySQL	Database: 5.7, 8.0.x JDBC Driver: 8.0.21
PostgreSQL	Database: 9.6, 10, 11, 12 JDBC Driver: 42.2.12
MongoDB	Database: 3.6, 4.x, 5.0 MongoDB Driver: 4.3.1
Oracle	Database: 11, 12, 19 Oracle Driver: 19.3.0.0

支持的格式¶

Format	Supported Connector	Flink Version
Changelog Json	Apache Kafka	1.11+

支持的 Flink 版本¶

Flink CDC Connectors 与 Flink 之间的版本映射。

Flink CDC Connector Version	Flink Version
1.0.0	1.11.*
1.1.0	1.11.*
1.2.0	1.12.*
1.3.0	1.12.*
1.4.0	1.13.*
2.0.*	1.13.*
2.1.*	1.13.*

特征¶

1. 支持读取数据库快照，即使出现故障也能继续读取binlog，并进行Exactly-once处理。

2. DataStream API 的 CDC 连接器，用户可以在单个作业中使用多个数据库和表的更改，而无需部署 Debezium 和 Kafka。

3. Table/SQL API 的 CDC 连接器，用户可以使用 SQL DDL 创建 CDC 源来监视单个表上的更改。

从源头构建¶

先决条件：

• git

• Maven

• At least Java 8

git clone https://github.com/ververica/flink-cdc-connectors.git
cd flink-cdc-connectors
mvn clean install -DskipTests

Flink CDC Connectors is now available at your local .m2 repository.