读取方式对读取数据库查询结果速度的影响

读取方式对读取数据库查询结果影响

基本结论:流式读取，查询速度快，读取比较耗时；非流式读取，查询速度慢，读取时间较短。设置每次读取条数后，流式读取失效（内存使用情况没有考察）
1、流式读取
query spend time:443
写入到第 1 个文件中！
写入到第 2 个文件中！
写入到第 3 个文件中！
写入到第 4 个文件中！
取回数据量为 2921844 行！ spend time:2947
total spend time:3391

2、设定流式读取，每次100个id
query spend time:3441
写入到第 1 个文件中！
写入到第 2 个文件中！
写入到第 3 个文件中！
写入到第 4 个文件中！
取回数据量为 2871058 行！ spend time:139
total spend time:3580

3、设定流式读取，每次1000个id
query spend time:3512
写入到第 1 个文件中！
写入到第 2 个文件中！
写入到第 3 个文件中！
写入到第 4 个文件中！
取回数据量为 2881259 行！ spend time:85
total spend time:3597

3、设定流式读取，每次10000个id
query spend time:3391
写入到第 1 个文件中！
写入到第 2 个文件中！
写入到第 3 个文件中！
写入到第 4 个文件中！
取回数据量为 2838858 行！ spend time:150
total spend time:3541

4、一次读取
query spend time:3406
写入到第 1 个文件中！
写入到第 2 个文件中！
写入到第 3 个文件中！
写入到第 4 个文件中！
取回数据量为 2813167 行！ spend time:103
total spend time:3509

 

测试代码

import java.sql.Connection;  
import java.sql.DriverManager;  
import java.sql.PreparedStatement;  
import java.sql.ResultSet;  
import java.sql.SQLException;  
import java.sql.Statement;  
import java.util.ArrayList;
import java.util.List;

public class JdbcHandleMySQLBigResultSet {  
  
    public static long importData(String sql){  
        String url = "jdbc:mysql://test.db.com:3306/logdb?user=ingage&password=ingage";
        try {  
            Class.forName("com.mysql.jdbc.Driver");  
        } catch (ClassNotFoundException e1) {  
            e1.printStackTrace();  
        }  
        long allStart = System.currentTimeMillis();  
        long count =0;  
  
        Connection con = null;  
        PreparedStatement ps = null;  
        Statement st = null;  
        ResultSet rs = null;  
        try {  
            con = DriverManager.getConnection(url);  
              
            ps = con.prepareStatement(sql,ResultSet.TYPE_FORWARD_ONLY,
                      ResultSet.CONCUR_READ_ONLY);

            ps.setFetchSize(Integer.MIN_VALUE);
//            ps.setFetchSize(1000);

//            ps.setFetchDirection(ResultSet.FETCH_REVERSE);
  
            rs = ps.executeQuery();

            List<Long> idList = new ArrayList<Long>();

            System.out.println("query spend time:"+(System.currentTimeMillis()-allStart));
            long end = System.currentTimeMillis();
            while (rs.next()) {  
                  
                //此处处理业务逻辑
//                idList.add(rs.getLong(1));
                count++;  
                if(count%600000==0){

                    System.out.println(" 写入到第  "+(count/600000)+" 个文件中！");
                    idList = new ArrayList<Long>();
                }  
                  
            }  
            System.out.println("取回数据量为  "+count+" 行！ spend time:"+(System.currentTimeMillis()-end));
            System.out.println("total spend time:"+(System.currentTimeMillis()-allStart));
        } catch (SQLException e) {  
            e.printStackTrace();  
        } finally {  
            try {  
                if(rs!=null){  
                    rs.close();  
                }  
            } catch (SQLException e) {  
                e.printStackTrace();  
            }  
            try {  
                if(ps!=null){  
                    ps.close();  
                }  
            } catch (SQLException e) {  
                e.printStackTrace();  
            }  
            try {  
                if(con!=null){  
                    con.close();  
                }  
            } catch (SQLException e) {  
                e.printStackTrace();  
            }  
        }  
        return count;  
  
    }  
  
    public static void main(String[] args) throws InterruptedException {  
  
        String sql = "select id from b_reg_statistics";
        importData(sql);  
  
    }  
  
}