大批量插入mysql行记录正确姿势

首先按照网上经验,添加了如下db连接参数,dbUrl=xxx&rewriteBatchedStatements=true

关于rewriteBatchedStatements这个参数介绍:

MySQL的JDBC连接的url中要加rewriteBatchedStatements参数,并保证5.1.13以上版本的驱动,才能实现高性能的批量插入。
MySQL JDBC驱动在默认情况下会无视executeBatch()语句,把我们期望批量执行的一组sql语句拆散,一条一条地发给MySQL数据库,批量插入实际上是单条插入,直接造成较低的性能。
只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL
另外这个选项对INSERT/UPDATE/DELETE都有效

接下来就是写代码,项目使用了mybatis-plus框架,有自动生成的batchInsert方法,但是测了一下效果不理想,看了看源码其实还是for循环一条条执行的
没办法,只能自己在mapper里写动态sql,使用foreach标签实现批量插入

 <insert id="batchInsertUserId">
        INSERT INTO maxx_olduser_sync
        (user_id,sync_mark)
        VALUES
        <foreach collection ="userList" item="user" separator =",">
            ( #{user.userId}, #{user.syncMark})
        </foreach >
    </insert>

采用500条一次批量插入的方法

 if(cnt%500==0||cnt==uids.size()){
                syncMapper.batchInsertUserId(userList);
}

最终结果:插入 1141168条行记录
程序运行时间:268086ms

posted @   CodeSpike  阅读(985)  评论(0编辑  收藏  举报
编辑推荐:
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
阅读排行:
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· ollama系列01:轻松3步本地部署deepseek,普通电脑可用
· 按钮权限的设计及实现
· 25岁的心里话
Live2D
欢迎阅读『大批量插入mysql行记录正确姿势』
点击右上角即可分享
微信分享提示