关于批量插入数据之我见（100万级别的数据，mysql） （转）

因前段时间去面试，问到如何高效向数据库插入10万条记录，之前没处理过类似问题，也没看过相关资料，结果没答上来，今天就查了些资料，总结出三种方法：

测试数据库为MySQL!!!

方法一:

[java] view plain copy
 print?
  1. public static void insert() {  
  2.         // 开时时间  
  3.         Long begin = new Date().getTime();  
  4.         // sql前缀  
  5.         String prefix = "INSERT INTO tb_big_data (count, create_time, random) VALUES ";  
  6.         try {  
  7.             // 保存sql后缀  
  8.             StringBuffer suffix = new StringBuffer();  
  9.             // 设置事务为非自动提交  
  10.             conn.setAutoCommit(false);  
  11.             // Statement st = conn.createStatement();  
  12.             // 比起st，pst会更好些  
  13.             PreparedStatement pst = conn.prepareStatement("");  
  14.             // 外层循环，总提交事务次数  
  15.             for (int i = 1; i <= 100; i++) {  
  16.                 // 第次提交步长  
  17.                 for (int j = 1; j <= 10000; j++) {  
  18.                     // 构建sql后缀  
  19.                     suffix.append("(" + j * i + ", SYSDATE(), " + i * j  
  20.                             * Math.random() + "),");  
  21.                 }  
  22.                 // 构建完整sql  
  23.                 String sql = prefix + suffix.substring(0, suffix.length() - 1);  
  24.                 // 添加执行sql  
  25.                 pst.addBatch(sql);  
  26.                 // 执行操作  
  27.                 pst.executeBatch();  
  28.                 // 提交事务  
  29.                 conn.commit();  
  30.                 // 清空上一次添加的数据  
  31.                 suffix = new StringBuffer();  
  32.             }  
  33.             // 头等连接  
  34.             pst.close();  
  35.             conn.close();  
  36.         } catch (SQLException e) {  
  37.             e.printStackTrace();  
  38.         }  
  39.         // 结束时间  
  40.         Long end = new Date().getTime();  
  41.         // 耗时  
  42.         System.out.println("cast : " + (end - begin) / 1000 + " ms");  
  43.     }  


输出时间：cast : 23 ms

该方法目前测试是效率最高的方法!




方法二：

[java] view plain copy
 print?
  1. public static void insertRelease() {  
  2.         Long begin = new Date().getTime();  
  3.         String sql = "INSERT INTO tb_big_data (count, create_time, random) VALUES (?, SYSDATE(), ?)";  
  4.         try {  
  5.             conn.setAutoCommit(false);  
  6.             PreparedStatement pst = conn.prepareStatement(sql);  
  7.             for (int i = 1; i <= 100; i++) {  
  8.                 for (int k = 1; k <= 10000; k++) {  
  9.                     pst.setLong(1, k * i);  
  10.                     pst.setLong(2, k * i);  
  11.                     pst.addBatch();  
  12.                 }  
  13.                 pst.executeBatch();  
  14.                 conn.commit();  
  15.             }  
  16.             pst.close();  
  17.             conn.close();  
  18.         } catch (SQLException e) {  
  19.             e.printStackTrace();  
  20.         }  
  21.         Long end = new Date().getTime();  
  22.         System.out.println("cast : " + (end - begin) / 1000 + " ms");  
  23.     }  

注：注释就没有了，和上面类同，下面会有分析！

控制台输出：cast : 111 ms

执行时间是上面方法的5倍！



方法三：

[java] view plain copy
 print?
  1. public static void insertBigData(SpringBatchHandler sbh) {  
  2.         Long begin = new Date().getTime();  
  3.         JdbcTemplate jdbcTemplate = sbh.getJdbcTemplate();  
  4.         final int count = 10000;  
  5.         String sql = "INSERT INTO tb_big_data (count, create_time, random) VALUES (?, SYSDATE(), ?)";  
  6.         jdbcTemplate.batchUpdate(sql, new BatchPreparedStatementSetter() {  
  7.             // 为prepared statement设置参数。这个方法将在整个过程中被调用的次数  
  8.             public void setValues(PreparedStatement pst, int i)  
  9.                     throws SQLException {  
  10.                 pst.setLong(1, i);  
  11.                 pst.setInt(2, i);  
  12.             }  
  13.   
  14.             // 返回更新的结果集条数  
  15.             public int getBatchSize() {  
  16.                 return count;  
  17.             }  
  18.         });  
  19.         Long end = new Date().getTime();  
  20.         System.out.println("cast : " + (end - begin) / 1000 + " ms");  
  21.     }  
posted @ 2017-07-11 16:43  星朝  阅读(303)  评论(0)  编辑  收藏  举报