关于小工具对数据库进行分页查询

需求:关于第三方数据库的数据抽取,数据每2个小时会有增量数据。

要求:每天凌晨12:05对T-1日数据进行统一处理。

于是利用1周时间开发了个小工具,主要对接第三方oracle,pg,mysql数据库的数据。

采用技术:

1.多线程,线程池

2.jdbc,连接池

3.数据库分页

遇到问题

1.Javaswing页面设计难度大

解决方案:采用成熟的eclipse插件WindowBuilder

2.分页过程中,不断有新数据插入则会影响数据丢失或重复抽取

解决方案:order by或temp表

3.数据库连接断开后的重连机制

解决方案:定时工具重试三次,手动批量工具不断重试直到获取connection

 

posted @ 2018-06-09 17:29  疯狂的蜗牛仔  阅读(320)  评论(0编辑  收藏  举报