【转载】 c#中往mysql里批量插入上万条数据

前面文章说采集了很多数据，要存入mysql数据库。之所以选择mysql数据库，原因只不过是mysql很方便安装应用范围也广，又小，也挺好用。呵呵

我仍然在csdn询问，http://bbs.csdn.net/topics/390357952?page=1#post-393577221，综合采纳了各位大侠的意见，反正最后我在本机上插入1--5万条数据的时候，好像没感觉到占用什么时间。

我使用了mysql的批量数据格式，

比如
INSERT INTO TABLES (LABLE1,LABLE2,LABLE3,...) 
VALUES(NUM11,NUM12,NUM13,...), 
(NUM21,NUM22,NUM23,...),
....
(NUMn1,NUMn2,NUMn3,..);

 

我在前文中叙述的，每个账户的每个采集点就会生成几百个数据，这几百个数据我组合成上述一条语句，20多个账户多个采集点我一共生成上述语句300--800多条，每条的数据项300-500个，所以每次插入的数据共计10000--50000条。

我把每条insert语句都保存在一个SQLStringList之中，又 在网上找点资料，采用了事务处理方式，本来我的事务方式是所有sql语句放在一个事务里，但有热心朋友告知“每当执行1000条DBCommand就提交(Commit)事务，然后再次开启事务，这样比较好。把过多的命令放在一个事务中，一旦超过物理内存分配限制，你的程序会变得很慢很慢。”

所以我后来修改了一下，每500条语句重启一次事务。c#代码如下：

 

/// <summary>
        /// 执行多条SQL语句，实现数据库事务。
        /// </summary>mysql数据库
        /// <param name="SQLStringList">多条SQL语句</param>
        public static void ExecuteSqlTran(List<string> SQLStringList)
        {
            using (MySqlConnection conn = new MySqlConnection(MySqlHelper.ConnStr))
            {
                conn.Open();
                MySqlCommand cmd = new MySqlCommand();
                cmd.Connection = conn;
                MySqlTransaction tx = conn.BeginTransaction();
                cmd.Transaction = tx;
                try
                {
                    for (int n = 0; n < SQLStringList.Count; n++)
                    {
                        string strsql = SQLStringList[n].ToString();
                        if (strsql.Trim().Length > 1)
                        {
                            cmd.CommandText = strsql;
                            cmd.ExecuteNonQuery();
                        }
                       //后来加上的
                       if (n > 0 && (n % 500 == 0 || n == SQLStringList.Count - 1))
                        {
                            tx.Commit();
                            tx = conn.BeginTransaction();
                        }
                    }
                    //tx.Commit();//原来一次性提交
                }
                catch (System.Data.SqlClient.SqlException E)
                {
                    tx.Rollback();
                    throw new Exception(E.Message);
                }
            }
        }