昨天下午,一个同事需要做数据同步,因为没有思路所以问了下我,大概情况如下:
1、两台不同服务器;
2、从oracle10G定时同步(每天凌晨2:00)到Sqlserver2005;
3、处于安全性考虑,客服方不提供Sqlserver2005的账户密码,只需我们提供数据集;
4、双方程序语言都为java;
在这些前提下我提出了几套方案,仅供参考:
A:如果oracle数据库能在客户服务器上访问,由oracle方提供接口给客户服务器实现,返回给客户服务器所需同步数据,并由客户服务器操作数据存储到sqlserver2005中,接口代码描述:远程建立jdbc连接oracle(临时帐户),查询oracle方提供的视图,并访问客户所需数据集,打成jar包,由客户方调用接口实现方法获得数据。
B:如果oracle方不能被客户服务器访问,则将需同步数据置入XML中,并由客服服务器方访问其xml(HTTP or Socket),并由oracle方提供解析机制,返回数据集。
C:通过开源数据库同步软件实现不同(Google结果:SymmetricDS、OpenDBDiff(针对sqlserver))
前面三种方案均可实现从oracle同步到sqlserver2005,不过如果数据量较大时可能导致中途数据丢失或者同步速度较慢等情况,于是制定如下方案:
建立同步表,将客户方所需数据表中字段放入到同步表中,如:
用户表:wid,userId,passWord
用户同步表:wid,userId,passWord,No,OperationType,OperationDate
可以看到同步表中多了三个字段:No,OperationType,OperationDate
No为序号,由oracle序列生成,OperationType为操作类型,0为新增,1为修改,2为删除,OperationDate为操作日期,取当前完整时间(年月日时分秒)
建立用户表触发器,如果用户表有操作则将客户方所需用户表字段放入同步表中,如果新增将OperationType的值插入0,以此类推
在客服服务器方,oracle方提供接口查询同步表得到结果集,并和客服商议如何操作这些数据
这样就可以实现哪些数据修改过就同步哪些数据,减免了双方服务器的压力
如果各位博友有更好的方法请提供给给,本人提供一切方案仅供参考,如有雷同,纯属巧合。
2010-12-24 版本