随笔分类 -  FLINKCDC

MysqlCDC数据获取代码
摘要：public static MySqlSource getMysqlSource(String db, String tab) { Properties props = new Properties(); props.setProperty("useSSL", "false"); props.set 阅读全文
posted @ 2025-02-01 11:02 自在现实 阅读(32) 评论(0) 推荐(0)
SqlServerCDC数据格式化代码
摘要：import com.ververica.cdc.connectors.sqlserver.SqlServerSource; import com.ververica.cdc.debezium.DebeziumDeserializationSchema; import com.ververica.c 阅读全文
posted @ 2025-02-01 11:00 自在现实 阅读(48) 评论(0) 推荐(0)
SqlServerCDC 原始数据获取代码
摘要：import com.ververica.cdc.connectors.base.options.StartupOptions; import com.ververica.cdc.connectors.sqlserver.SqlServerSource; import com.ververica.c 阅读全文
posted @ 2025-02-01 10:58 自在现实 阅读(85) 评论(0) 推荐(0)
flink-cdc3.0官方网站
摘要：flink-cdc3.0官方网站 https://nightlies.apache.org/flink/flink-cdc-docs-release-3.0/zh/docs/get-started/introduction/ 查看相关技术知识 阅读全文
posted @ 2024-05-05 11:13 自在现实 阅读(2749) 评论(0) 推荐(0)
FLINKCDC3.0 datastream程序运行测试
摘要：1.编写程序本地运行正常 2.程序正常打包 3.提交作业到FLINK集群 ./bin/flink run -m hdf1:8081 -c com.org.cdc.FlinkCDCDataStreamTest ./FlinkCdc-test.jar 4.监控作业运行 作业正常运行，cud查看 task 阅读全文
posted @ 2024-05-05 08:50 自在现实 阅读(157) 评论(0) 推荐(0)
FLINK CDC同步
摘要：1. 2. 阅读全文
posted @ 2024-05-05 08:49 自在现实 阅读(21) 评论(0) 推荐(0)
FLINK CDC部署同步
摘要：1.standalone https://github.com/apache/flink-cdc/blob/master/docs/content/docs/deployment/standalone.md 2.yarn https://github.com/apache/flink-cdc/blo 阅读全文
posted @ 2024-05-05 08:49 自在现实 阅读(276) 评论(0) 推荐(0)
FLINKCDC 3.0整库同步MYSQL至DORIS（FLINK1.18）： 历程
摘要：大数据技术涉及组件较多，各个环境较DEMO又不尽相同，所以参照DEMO进行，任然很多报错信息出现。 如下报错处理，尽供参考： 1.创建同步配置文件 ############################################################################ 阅读全文
posted @ 2024-04-25 20:37 自在现实 阅读(2374) 评论(2) 推荐(0)
FLINK SQL CDC 同步
摘要：1.源端使用CDC，目标端常规jdbc CREATE TABLE ftin ( id INT, name VARCHAR(50), PRIMARY KEY (id) NOT ENFORCED ) WITH ( 'connector' = 'sqlserver-cdc', 'hostname' = ' 阅读全文
posted @ 2024-04-21 00:15 自在现实 阅读(182) 评论(0) 推荐(0)
FLINK CDC 3.0 demo mysql 整库同步历程(3.sql cdc同步)
摘要：结论：FLINK CDC 3.0 在flink 1.17上，不支持mysql to doris 的 demo。 1.mysql开启binlog参考debizium(https://debezium.io/documentation/reference/2.5/connectors/mysql.htm 阅读全文
posted @ 2024-04-21 00:13 自在现实 阅读(1349) 评论(0) 推荐(0)