关于小工具对数据库进行分页查询
需求:关于第三方数据库的数据抽取,数据每2个小时会有增量数据。
要求:每天凌晨12:05对T-1日数据进行统一处理。
于是利用1周时间开发了个小工具,主要对接第三方oracle,pg,mysql数据库的数据。
采用技术:
1.多线程,线程池
2.jdbc,连接池
3.数据库分页
遇到问题
1.Javaswing页面设计难度大
解决方案:采用成熟的eclipse插件WindowBuilder
2.分页过程中,不断有新数据插入则会影响数据丢失或重复抽取
解决方案:order by或temp表
3.数据库连接断开后的重连机制
解决方案:定时工具重试三次,手动批量工具不断重试直到获取connection