SqlBulkCopy批量复制数据 转
SqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction); 先生成SqlBulkCopy 实例,构造函数指定了目标数据库,使用SqlBulkCopyOptions.UseInternalTransaction是指迁移动作指定在一个Transaction当中,如果数据迁移中产生错误或异常将发生回滚。
在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中,还是进行不同数据源之间的迁移,都不是很方便。而在.Net2.0中,SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据。数据源可以来自关系数据库或者XML文件,甚至WebService返回结果。其中最重要的一个类就是SqlBulkCopy类,使用它可以很方便的帮助我们把数据源的数据迁移到目标数据库中。
下面我们先通过一个简单的例子说明这个类的使用:
首先:web.config
<connectionStrings> <add name="srcDBConnection" connectionString="server=.;database=pubs;uid=sa;pwd="/> <add name="desDBConnection" connectionString="server=.;database=NorthWind;uid=sa;pwd="/> </connectionStrings>
C#文件: 前台不Copy了,就一个按钮,一个Label
1 using System; 2 using System.Data; 3 using System.Configuration; 4 using System.Collections; 5 using System.Web; 6 using System.Web.Security; 7 using System.Web.UI; 8 using System.Web.UI.WebControls; 9 using System.Web.UI.WebControls.WebParts; 10 using System.Web.UI.HtmlControls; 11 using System.Data.SqlClient; 12 13 public partial class ASP_NET : System.Web.UI.Page 14 { 15 private DateTime startTime; 16 17 protected void Button1_Click(object sender, EventArgs e) 18 { 19 startTime = DateTime.Now; 20 string srcConnString = ""; 21 string desConnString = ""; 22 SqlConnection srcConnection = new SqlConnection(); 23 SqlConnection desConnection = new SqlConnection(); 24 SqlCommand sqlcmd = new SqlCommand(); 25 SqlDataAdapter da = new SqlDataAdapter(); 26 DataTable dt = new DataTable(); 27 //srcConnString = ConfigurationManager.ConnectionStrings["srcDBConnection"].ConnectionString; 28 desConnString = ConfigurationManager.ConnectionStrings["desDBConnection"].ToString(); 29 //srcConnection.ConnectionString = srcConnString; 30 srcConnection.ConnectionString = desConnString; 31 sqlcmd.Connection = srcConnection; 32 //sqlcmd.CommandText = "select * from jobs"; 33 sqlcmd.CommandText = "select * from abc"; 34 sqlcmd.CommandType = CommandType.Text; 35 sqlcmd.Connection.Open(); 36 da.SelectCommand = sqlcmd; 37 da.Fill(dt); 38 39 SqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction); 40 sbc.BulkCopyTimeout = 5000; 41 sbc.SqlRowsCopied +=new SqlRowsCopiedEventHandler(OnRowsCopied); 42 sbc.NotifyAfter = dt.Rows.Count; 43 44 try 45 { 46 // sbc.DestinationTableName = "jobs"; 47 sbc.DestinationTableName = "bcd"; 48 sbc.WriteToServer(dt); 49 } 50 catch (Exception ex) 51 { 52 lblCounter.Text = ex.Message.ToString(); 53 } 54 finally 55 { 56 sqlcmd.Clone(); 57 srcConnection.Close(); 58 desConnection.Close(); 59 60 } 61 62 } 63 private void OnRowsCopied(object sender, SqlRowsCopiedEventArgs args) 64 { 65 lblCounter.Text += args.RowsCopied.ToString() + " rows are copied<Br>"; 66 TimeSpan copyTime = DateTime.Now - startTime; 67 lblCounter.Text += "Copy Time:" + copyTime.Seconds.ToString() + "." + copyTime.Milliseconds.ToString() + " seconds"; 68 } 69 }
代码分析:
SqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction); 先生成SqlBulkCopy 实例,构造函数指定了目标数据库,使用SqlBulkCopyOptions.UseInternalTransaction是指迁移动作指定在一个Transaction当中,如果数据迁移中产生错误或异常将发生回滚。
sbc.BulkCopyTimeout = 5000000; //指定操作完成的Timeout时间
sbc.SqlRowsCopied +=new SqlRowsCopiedEventHandler(OnRowsCopied); sbc.NotifyAfter = dt.Rows.Count; try { // sbc.DestinationTableName = "jobs"; sbc.DestinationTableName = "bcd"; sbc.WriteToServer(dt); } NotifyAfter 属性指定通知通知事件前处理的数据行数,在这里指定为表的行数,并添加SqlRowsCopied事件输出整个迁移过程的时间。 WriteToServer方法就是将数据源拷备到目标数据库。在使用WriteToServer方法之前必须先指定 DestinationTableName属性,也就是目标数据库的表名,
性能方面:我在Sql中用proc插入68万条数据花了近8分钟,用SqlBulkCopy花了53.234秒~,效率高了7倍耶!不过现在也不做这方面的底层了,呵呵,把自己写的一个测试存储过程也贴上吧,方便自己学习
create table abc ( aid int identity(1,1) primary key, adesc varchar(50) not null ) go /**//**********存储过程**********************/ create proc addData as declare @i int set @i=1 while @i < 1000000 begin insert into abc values ('testDescription') set @i = @i + 1 end go select * into titles from pubs.dbo.titles where 1> 3 复制跨数据库的表结构