数据同步程序,利用数据库事务机制

产生的原因:

　　我们每天定时会在几点将new表数据同步到old表. 原先数据量不大.所以同步很快. 最近这两年每次需要同步100w条以上. 单次同步需要用10多分钟

 

处理方法:

　　数据产生的地方. 就从new表数据copy一份到old表.  这样将数据移动的高峰给分割开了. 

　　事务机制: 如果未完成, 程序挂了,再次启动以后需要重新同步. 如果完成了即使程序重新启动也不会再次copy. 

 

流程图: 

好处

　　1. 数据量分割, 所以即使数据量增长也不会有影响. 

　　2. 表配置动态化. 程序里面不用写死固定哪些表. 而是采用配置文件进行配置. 

 

源码

　　https://files.cnblogs.com/files/blog-east/DataSync.rar