最近处理一个将csv内容导入到sqlite数据库中,使用了事务(BEGIN TRANSACTION; sql语句; COMMIT;)
测试发现一次1000条导入,反而比10000条导入要快,总共6万多条数据,整下下来竟然快有6分钟,真是奇怪
var iCount = 0;
var dDataTime = DateTime.Now;
var mCsvHelp = new CsvHelper();
var mDataTable = mCsvHelp.GetCsvData(@"E:\", "scrm_friend");
var mSql = new StringBuilder();
var conn = new SQLiteConnection(@"Data Source=E:\mydatabase.db");
SQLiteCommand command;
conn.Open();
for (var i = 0; i < mDataTable.Rows.Count; i++)
{
var mRows = mDataTable.Rows[i];
mSql.Append("Insert Into scrm_friend (friendid,userid,friendname,phone) values(" + mRows[0] + "," +
mRows[1] + ",'" + mRows[2] + "','" + mRows[3] + "');");
iCount = iCount + 1;
if (iCount > 1000)
{
command = new SQLiteCommand
{
Connection = conn,
CommandText = "BEGIN TRANSACTION;" + mSql + "COMMIT;"
};
command.ExecuteNonQuery();
mSql.Remove(0, mSql.Length);
iCount = 0;
}
}
command = new SQLiteCommand
{
Connection = conn,
CommandText = "BEGIN TRANSACTION;" + mSql + "COMMIT;"
};
command.ExecuteNonQuery();
MessageBox.Show((DateTime.Now - dDataTime).ToString());
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
· .NET 9 new features-C#13新的锁类型和语义
· Spring AI + Ollama 实现 deepseek-r1 的API服务和调用
· 《HelloGitHub》第 106 期
· 数据库服务器 SQL Server 版本升级公告
· 深入理解Mybatis分库分表执行原理
· 使用 Dify + LLM 构建精确任务处理应用