[转]SQLBulkCopy使用

SQLBulkCopy,用于数据库之间大批量的数据传递。通常用于新,旧数据库之间数据的更新。即使表结构完全不同,也可以通过字段间的对应关系,顺利的将数据导过来。

首先,SQLBulkCopy需要2个连接。分别连接到不同的旧表所在的数据库,新表所在的数据库。如果是同一个数据库,就可以用同一个SqlConnection对象。

其次,我们要从旧数据库中,把导出的字段读取出来。用什么读呢?可以用Datatable,也可以用SqlDataReader。因为SqlDataReader不占用内存,对大批量的数据复制,不需要事先导入到系统。所以就用SqlDataReader了。

读出后,设定对应关系,设定目标表名,写入。就这么简单。速度非常快!

 

        SqlConnection ConnectionNew = new SqlConnection("连接信息");

        SqlConnection ConnectionOld = new SqlConnection("连接信息");

        //激发的方法写在外头
        private void bulkCopy_SqlRowsCopied(object sender, SqlRowsCopiedEventArgs e)
        {
            /*
            执行的内容。
            这里有2个元素值得拿来用
            e.RowsCopied,返回数值类型,表示当前已经复制的行数
            e.Abort,用于赋值true or false,用于停止赋值的操作 
            */
        }

        public void bulkCopy()
        {
            try
            {
                //1.在旧表中,用SqlDataReader读取出信息
                SqlCommand cmd = new SqlCommand(SQL, ConnectionOld);
                sdr = cmd.ExecuteReader();

                //2.初始化SqlBulkCopy对象,用新的连接作为参数。
                SqlBulkCopy bulkCopy = new SqlBulkCopy(ConnectionNew);

                //3.写对应关系。如旧表的People列的数据,对应新表Human列,那么就写bulkCopy.ColumnMappings.Add("People","Human")
                //如果两张表的结构一样,那么对应关系就不用写了。
                //我是用哈希表存储对应关系的,哈希表作为参数到传入方法中,key的值用来存储旧表的字段名,VALUE的值用来存储新表的值
                foreach (string str in HTDuiYing.Keys)
                {
                    bulkCopy.ColumnMappings.Add(str, HTDuiYing[str].ToString());
                }
                //4.设置目标表名
                bulkCopy.DestinationTableName = TableNmae;
                //额外,可不写:设置一次性处理的行数。这个行数处理完后,会激发SqlRowsCopied()方法。默认为1
                bulkCopy.NotifyAfter = 10;
                //额外,可不写:设置激发的SqlRowsCopied()方法,这里为bulkCopy_SqlRowsCopied
                bulkCopy.SqlRowsCopied += new SqlRowsCopiedEventHandler(bulkCopy_SqlRowsCopied);
                //OK,开始传数据!
                bulkCopy.WriteToServer(sdr);
            }
            catch { }
        }

  

也可以直接使用DataTable填充:

        private DateTime startTime;

        protected void Button1_Click(object sender, EventArgs e)
        {
            startTime = DateTime.Now;
            string srcConnString = "";
            string desConnString = "";
            SqlConnection srcConnection = new SqlConnection();
            SqlConnection desConnection = new SqlConnection();
            SqlCommand sqlcmd = new SqlCommand();
            SqlDataAdapter da = new SqlDataAdapter();
            DataTable dt = new DataTable();
            //srcConnString = ConfigurationManager.ConnectionStrings["srcDBConnection"].ConnectionString;
            desConnString = ConfigurationManager.ConnectionStrings["desDBConnection"].ToString();
            //srcConnection.ConnectionString = srcConnString;
            srcConnection.ConnectionString = desConnString;
            sqlcmd.Connection = srcConnection;
            //sqlcmd.CommandText = "select * from jobs";
            sqlcmd.CommandText = "select * from abc";
            sqlcmd.CommandType = CommandType.Text;
            sqlcmd.Connection.Open();
            da.SelectCommand = sqlcmd;
            da.Fill(dt);

            SqlBulkCopy sbc = new SqlBulkCopy(desConnString, SqlBulkCopyOptions.UseInternalTransaction);
            sbc.BulkCopyTimeout = 5000;
            sbc.SqlRowsCopied += new SqlRowsCopiedEventHandler(OnRowsCopied);
            sbc.NotifyAfter = dt.Rows.Count;

            try
            {
                // sbc.DestinationTableName = "jobs";
                sbc.DestinationTableName = "bcd";
                sbc.WriteToServer(dt);
            }
            catch (Exception ex)
            {
                lblCounter.Text = ex.Message.ToString();
            }
            finally
            {
                sqlcmd.Clone();
                srcConnection.Close();
                desConnection.Close();

            }

        }
        private void OnRowsCopied(object sender, SqlRowsCopiedEventArgs args)
        {
            lblCounter.Text += args.RowsCopied.ToString() + " rows are copied<Br>";
            TimeSpan copyTime = DateTime.Now - startTime;
            lblCounter.Text += "Copy Time:" + copyTime.Seconds.ToString() + "." + copyTime.Milliseconds.ToString() + " seconds";
        }

  

posted on 2013-11-28 09:22  relax  阅读(392)  评论(0编辑  收藏  举报