摘要: 应客户要求,需要同步数据到他们自己的数据库用于简单的数据分析,但这部分数据在postgresql,客户又不想再建pg,想直接同步到他们现有的mysql库,实时性倒是不要求。 考虑到 1、异构数据库同步 2、只同步指定客户的行数据 有之前同步到es的经验,同样使用了腾讯oceanus,其它工具没搞定 阅读全文
posted @ 2025-02-20 14:42 老王76 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 测试了多个方案同步,最终选择oceanu产品,底层基于Flink cdc 1、实时性能够保证,binlog量很大时也不产生延迟 2、配置SQL即可完成,操作上简单 下面示例mysql的100张分表实时同步到es,优化备注等文本字段的like查询 创建SQL作业 CREATE TABLE from_m 阅读全文
posted @ 2025-02-20 13:38 老王76 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 方案说明 canal是阿里云开源的解析binlog组件,同步到ES需要deployer和adapter两部分: deployer解析MySQL binlog,adapter将数据写入到ES 优点 开源成熟稳定 简单易用 缺点 不支持全量数据初始化 部署 logstash进行全量 /etc/hosts 阅读全文
posted @ 2021-06-25 16:09 老王76 阅读(704) 评论(4) 推荐(0) 编辑
摘要: mysql引擎 create table t_mysql ( id Int32, name String, ) engine = MySQL('127.0.0.1:3306', 'test', 't', 'root', '123456'); mysql进行ddl: alter table t mod 阅读全文
posted @ 2021-06-24 21:53 老王76 阅读(303) 评论(0) 推荐(0) 编辑
摘要: mysql表变更gh-osh相比pt-online-schema-change稳定,但使用过程也存在问题: 导致自增重置 业务表id字段自增,同时会有delete,如果使用gh-ost之前刚刚进行了delete操作,直接导致表id自增重置(效果同8.0以下版本,mysql服务器重启) 表访问频繁更新 阅读全文
posted @ 2021-06-23 15:36 老王76 阅读(76) 评论(0) 推荐(0) 编辑
摘要: 原始SQL(平均执行时间2s+) SELECT DISTINCT sid FROM test WHERE cid = 123456 AND ( (eid = 7890123) OR sid IN ( SELECT sid FROM test WHERE cid = 123456 GROUP BY s 阅读全文
posted @ 2021-06-23 11:10 老王76 阅读(295) 评论(0) 推荐(0) 编辑
摘要: mongo写入加了引号,导致一些数值字段都是string类型,修改字段类型为数值型。 db.Report99.find().forEach( function(doc){ db.Report99.update({'_id': doc._id},{$set:{"begin-quantity": par 阅读全文
posted @ 2021-06-23 10:49 老王76 阅读(233) 评论(0) 推荐(0) 编辑
摘要: 原始SQL(执行时间80s+) SELECT count(id) as id FROM task WHERE cid=100015 AND sid IN(112310,112316,106959,110780,112324,112331,112317) AND flag='9' 优化后SQL(平均执 阅读全文
posted @ 2021-06-23 10:45 老王76 阅读(751) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示