postgresql实时同步到mysql
应客户要求,需要同步数据到他们自己的数据库用于简单的数据分析,但这部分数据在postgresql,客户又不想再建pg,想直接同步到他们现有的mysql库,实时性倒是不要求。
考虑到
1、异构数据库同步
2、只同步指定客户的行数据
有之前同步到es的经验,同样使用了腾讯oceanus,其它工具没搞定
客户库中创建表
CREATE TABLE tb_1 (
id bigint primary key,
did bigint,
gid bigint,
fee DECIMAL(10,2),
created_at timestamp,
type smallint,
remark string ,
key i_did(did)
);
创建SQL作业
CREATE TABLE tb_1 (
id bigint,
did bigint,
gid bigint,
fee DECIMAL(10,2),
create_time timestamp,
type smallint,
remark string,
PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
'connector' = 'postgres-cdc',
'hostname' = 'ip',
'port' = '5432',
'username' = 'user',
'password' = 'pwd',
'database-name' = 'db',
'schema-name' = 'your-schema',
'table-name' = 'tbname',
'slot.name' = 'slotname_tb_1',
'scan.incremental.snapshot.enabled' = 'true'
);
CREATE TABLE kh_tb_1 (
id bigint,
did bigint,
gid bigint,
fee DECIMAL(10,2),
create_time timestamp,
type smallint,
remark string,
PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://xxxxxx:3306/db?rewriteBatchedStatements=true&serverTimezone=Asia/Shanghai',
'table-name' = 'tb_1',
'username' = 'user',
'password' = 'pwd',
'sink.buffer-flush.max-rows' = '5000',
'sink.buffer-flush.interval' = '2s',
'sink.max-retries' = '10'
);
insert into kh_tb_1 select * from tb_1 where did=xxxxxxx;
需要注意的:
1.字段类型要合理和对应,跟着cdc的类型走,不跟数据库一样
2.只有这个客户数据,insert不要忘了加where
3.pg涉及同步slot, slot.name要一张表一个,表多的话,要修改pg参数,max_replication_slots(默认是10,修改此参数要重启)
4.报错[55000]: ERROR: cannot delete from table "tb_1" because it does not have a replica identity ,调整下表 alter table tb_1 REPLICA IDENTITY FULL;
启动作业任务即可。
欢迎关注我的公众号:老王76。一起进步吧!
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~