大数据分页查询速度慢处理

需求：定时将oracle视图中数据同步到mysql，再将数据生成sqlite.db进行下发

数据量：800W

常规处理方式：使用分页查询oracle中表数据

SQL:   

处理慢原因：这个需要从rownum说起，因为rownum是一个伪列，对于返回数据的结果都是从1开始的，即我想查第100到200条记录，rownum标记会移动到200，数据量越大移动的就越多，这是导致查询慢的原因

优化方法：

解释：利用rownum有序自增的编号，将数据按10000条1段分成若干段，取到该段内的最大ID与最小ID进行查询，其中ID列为索引列。这样只有在分段查询时会消耗一点时间，之后再按照区间ID循环同步数据，时间消耗都是一定的，不会出现越查越慢的问题。

 

由mysql到sqlite分段SQL：