canal数据同步mysql到tidb
canal进行数据同步
将mysql数据同步至tidb,方便其他业务和数据的统计
遇到的坑
数据检查是一个问题
- 保证数据顺序,canal按照相应的字段进行hash,保证发送mq消息的顺序.消费数据方同样进行顺序消费的设置.
两台机器搭建canal server集群遇到问题
存量数据更新时
xorm中对于xorm:created 和 update数据会进行当前时间的替换
监听binlog进行更新,数据库update字段使用下列方式
update_time TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
更新数据会自动更新数据表时间
