关于mybatis使用foreach插入速度较慢的问题
使用mybatis批量插入，看了这篇博客
https://blog.csdn.net/m0_37981235/article/details/79131493
我这种懒货懒得想其中原因，直接上手第三种！
结果测试多次，发现我插入8000条数据，第一种方式只需要30秒不到，可是第三种方法却需要一分多钟。
不知道原作者是怎么实现的，可能和插入数据的多少有关，我这里是8个字段。测试后1000taio需要1.7秒，500条需要0.4秒，切割成100条100条的插入，最终8000条数据只需要1.4s.
查询资料得知
Mybatis 在解析 foreach 的时候，因为需要循环解析 #{} 之类的占位符，foreach 的集合越大，解析越慢。
mybatis进行foreach的时候是没有缓存的，每次都得重新解析一下，所以越来越慢。
如果想要达到上图的程度，必须先解决foreach拼接问题
我没有找到好的办法。如果有大佬知道还请告知。
所以我可以java中使用字符串拼接的方式。
但是即使拼接成字符串之后，速度可能的确会很快，但是没办法在mybatis中引用。
例如
insert into tb_csp_baseDataAll (
parentArea,
area,
committee,
type,
woman_name,
woman_id_card,
tel,
wid
) values #{string}
这种传入的string就是字符串，带有的（）是在字符串内的，可能
类似于
insert into tb_csp_baseDataAll (
parentArea,
area,
committee,
type,
woman_name,
woman_id_card,
tel,
wid
) values "('a','b'...)"
数据库会报错，暂时没有找到好的办法解决。
如果使用存储过程的话，传入的值为为一个list是不大可能的，最理想的方法估计就是传一个json字符串，然后进行解析，似乎也是非常的麻烦，效率也不一定会很高。
使用批处理方式解决，8000条数据也是需要22秒左右。
最后查阅资料使用LOAD DATA LOCAL INFILE实现大批量插入：https://blog.csdn.net/baidu_38083619/article/details/83378885
MySQL使用LOAD DATA LOCAL INFILE从文件中导入数据比insert语句要快，MySQL文档上说要快20倍左右。
但是这个方法有个缺点，就是导入数据之前，必须要有文件，也就是说从文件中导入。这样就需要去写文件，以及文件删除等维护。某些情况下，比如数据源并发的话，还会出现写文件并发问题，很难处理。
那么有没有什么办法，可以达到同样的效率，直接从内存（IO流中）中导入数据，而不需要写文件呢？
MySQL社区提供这样一个方法：setLocalInfileInputStream（），此方法位于com.mysql.jdbc.PreparedStatement 类中。通过使用 MySQL JDBC 的setLocalInfileInputStream 方法实现从Java InputStream中load data local infile 到MySQL数据库中。
package com.akb.hfcx.csp.utils; import java.io.ByteArrayInputStream; import java.io.IOException; import java.io.InputStream; import java.sql.Connection; import java.sql.PreparedStatement; import java.sql.SQLException; import javax.annotation.Resource; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.jdbc.core.JdbcTemplate; import org.springframework.stereotype.Component; @Component public class LoadDataInFileUtil { private Logger logger = LoggerFactory.getLogger(LoadDataInFileUtil.class); private Connection conn = null; @Resource private JdbcTemplate jdbcTemplate; /*-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --*/ /** * 将数据从输入流加载到MySQL。 * * @param loadDataSql SQL语句。 * @param dataStream 输入流。 * @param jdbcTemplate JDBC。 * @return int 成功插入的行数。 */ private int bulkLoadFromInputStream(String loadDataSql, InputStream dataStream, JdbcTemplate jdbcTemplate) throws SQLException { if (null == dataStream) { logger.info("输入流为NULL，没有数据导入。"); return 0; } conn = jdbcTemplate.getDataSource().getConnection(); PreparedStatement statement = conn.prepareStatement(loadDataSql); int result = 0; if (statement.isWrapperFor(com.mysql.jdbc.Statement.class)) { com.mysql.jdbc.PreparedStatement mysqlStatement = statement.unwrap(com.mysql.jdbc.PreparedStatement.class); mysqlStatement.setLocalInfileInputStream(dataStream); result = mysqlStatement.executeUpdate(); } return result; } /*-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --*/ /** * 组装 SQL 语句。 * * @param dataBaseName 数据库名。 * @param tableName 表名。 * @param columnName 要插入数据的列名。 */ public String assembleSql(String dataBaseName, String tableName, String columnName[]) { String insertColumnName = StringUtils.join(columnName, ","); String sql = "LOAD DATA LOCAL INFILE 'sql.csv' IGNORE INTO TABLE " + dataBaseName + "." + tableName + "(" + insertColumnName + ")"; return sql; } /*-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --*/ /** * 往 StringBuilder 里追加数据。 * * @param builder StringBuilder。 * @param object 数据。 */ public void builderAppend(StringBuilder builder, String object) { builder.append(object); builder.append("\t"); } /*-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --*/ /** * 往 StringBuilder 里追加一条数据的最后一个字段。 * * @param builder StringBuilder。 * @param object 数据。 */ public void builderEnd(StringBuilder builder, Object object) { builder.append(object); builder.append("\n"); } /*-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --*/ /** * 通过 LOAD DATA LOCAL INFILE 大批量导入数据到 MySQL。 * * @param sql SQL语句。 * @param builder 组装好的数据。 */ public int fastInsertData(String sql, StringBuilder builder) { int rows = 0; InputStream is = null; try { byte[] bytes = builder.toString().getBytes(); if (bytes.length > 0) { is = new ByteArrayInputStream(bytes); //批量插入数据。 long beginTime = System.currentTimeMillis(); rows = bulkLoadFromInputStream(sql, is, jdbcTemplate); long endTime = System.currentTimeMillis(); logger.info("LOAD DATA LOCAL INFILE :【插入" + rows + "行数据至MySql中，耗时" + (endTime - beginTime) + "ms。】"); } } catch (SQLException e) { e.printStackTrace(); } finally { try { if (null != is) { is.close(); } if (null != conn) { conn.close(); } } catch (IOException | SQLException e) { e.printStackTrace(); } } return rows; } }
调用部分方法：
public void addList(List<AllBaseData> list) { StopWatch stopWatch = new StopWatch(); stopWatch.start(); StringBuilder sb = new StringBuilder(); for (AllBaseData entity : list) { loadDataInFileUtil.builderAppend(sb, entity.getParentArea()); loadDataInFileUtil.builderAppend(sb, entity.getArea()); loadDataInFileUtil.builderAppend(sb, entity.getCommittee()); loadDataInFileUtil.builderAppend(sb, entity.getType()); loadDataInFileUtil.builderAppend(sb, entity.getWoman_name()); loadDataInFileUtil.builderAppend(sb, entity.getWoman_id_card()); loadDataInFileUtil.builderAppend(sb, entity.getTel()); loadDataInFileUtil.builderEnd(sb, entity.getWid()); } String sql = loadDataInFileUtil.assembleSql(DATA_BASE_NAME, TABLE_NAME, COLUMN_NAME); int insertRow = loadDataInFileUtil.fastInsertData(sql, sb); System.out.println("insert应收报表数量insertRow："+insertRow); stopWatch.stop(); System.out.println("花费时间" + stopWatch.getTotalTimeSeconds()); }
且不要忘记在spring的配置文件加上
<bean id="jdbcTemplate" class="org.springframework.jdbc.core.JdbcTemplate"> <property name="dataSource" ref="dataSource"></property> </bean>
dataSource是数据库相关配置bean
测试8000条数据只需要0.214秒
