posts - 206,  comments - 101,  views - 90万
< 2025年1月 >
29 30 31 1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31 1
2 3 4 5 6 7 8

最近处理一个将csv内容导入到sqlite数据库中,使用了事务(BEGIN TRANSACTION; sql语句; COMMIT;)

测试发现一次1000条导入,反而比10000条导入要快,总共6万多条数据,整下下来竟然快有6分钟,真是奇怪

    var iCount = 0;
            var dDataTime = DateTime.Now;
            var mCsvHelp = new CsvHelper();
            var mDataTable = mCsvHelp.GetCsvData(@"E:\", "scrm_friend");
            var mSql = new StringBuilder();
            var conn = new SQLiteConnection(@"Data Source=E:\mydatabase.db");
            SQLiteCommand command;
            conn.Open();
            for (var i = 0; i < mDataTable.Rows.Count; i++)
            {
                var mRows = mDataTable.Rows[i];
                mSql.Append("Insert Into scrm_friend (friendid,userid,friendname,phone) values(" + mRows[0] + "," +
                            mRows[1] + ",'" + mRows[2] + "','" + mRows[3] + "');");
                iCount = iCount + 1;
                if (iCount > 1000)
                {
                    command = new SQLiteCommand
                    {
                        Connection = conn,
                        CommandText = "BEGIN TRANSACTION;" + mSql + "COMMIT;"
                    };
                    command.ExecuteNonQuery();
                    mSql.Remove(0, mSql.Length);
                    iCount = 0;
                }
            }
            command = new SQLiteCommand
            {
                Connection = conn,
                CommandText = "BEGIN TRANSACTION;" + mSql + "COMMIT;"
            };
            command.ExecuteNonQuery();

            MessageBox.Show((DateTime.Now - dDataTime).ToString()); 

posted on   晓晨  阅读(6258)  评论(0编辑  收藏  举报
(评论功能已被禁用)
编辑推荐:
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
· .NET 9 new features-C#13新的锁类型和语义
阅读排行:
· Spring AI + Ollama 实现 deepseek-r1 的API服务和调用
· 《HelloGitHub》第 106 期
· 数据库服务器 SQL Server 版本升级公告
· 深入理解Mybatis分库分表执行原理
· 使用 Dify + LLM 构建精确任务处理应用
点击右上角即可分享
微信分享提示