SqlServer使用SqlBulkCopy批量新增和更新数据,快速高效

using System;
using System.Collections.Generic;
using System.Data;
using System.Linq;
using System.Text;
using System.Data.SqlClient;
using System.Collections;
using System.Reflection;
using System.Configuration;
 
namespace Magic.Tool
{
    /// <summary>
    /// sqlserver数据库批量新增修改类
    /// </summary>
    public static class SqlBulkHelper
    {
        #region 数据库连接字符串
        /// <summary>
        /// 数据库连接字符串
        /// </summary>
        public static readonly string ConnString = ConfigurationManager.ConnectionStrings["ConnectionString"].ConnectionString;
        #endregion
 
        #region SqlBulkCopy方式批量新增数据
        /// <summary>
        /// SqlBulkCopy方式批量新增数据
        /// </summary>
        /// <typeparam name="T">对象</typeparam>
        /// <param name="modelList">实体类集合</param>
        /// <param name="destinationTableName">目标表明</param>
        /// <param name="removeColumns">移除的字段列集合</param>
        /// <param name="bulkCopyTimeout">超时时间</param>
        public static void BulkCopy<T>(List<T> modelList, string destinationTableName, List<string> removeColumns = null, int? bulkCopyTimeout = null)
        {
            if (string.IsNullOrEmpty(destinationTableName))
            {
                destinationTableName = typeof(T).Name;
            }
            var dt = ContainHelper.ListToTable(modelList);
            if (removeColumns != null && removeColumns.Count > 0)
            {
                foreach (var item in removeColumns)
                {
                    dt.Columns.Remove(item);
                }
            }
            using (SqlConnection conn = new SqlConnection(ConnString))
            {
                using (var sbc = new SqlBulkCopy(conn))
                {
                    sbc.BatchSize = modelList.Count;
                    sbc.DestinationTableName = destinationTableName;
                    sbc.BulkCopyTimeout = bulkCopyTimeout ?? 300;
                    conn.Open();
                    sbc.WriteToServer(dt);
                }
            }
        }
        #endregion
 
        #region SqlBulkCopy方式批量修改数据
        /// <summary>
        /// SqlBulkCopy方式批量修改数据
        /// </summary>
        /// <typeparam name="T">对象</typeparam>
        /// <param name="modelList">实体类集合</param>
        /// <param name="onRelations">关联字段</param>
        /// <param name="destinationTableName">目标表名</param>
        /// <param name="removeColumns">移除的字段列集合</param>
        /// <param name="UpdateColumns">更新的字段集合,不填则全部</param>
        public static void BatchUpdate<T>(List<T> modelList, string onRelations, string destinationTableName = null, List<string> removeColumns = null, List<string> UpdateColumns = null)
        {
            if (string.IsNullOrEmpty(destinationTableName))
                destinationTableName = typeof(T).Name.Replace("EN", "");
            var dt = ContainHelper.ListToTable(modelList);
            if (removeColumns != null && removeColumns.Count > 0)
            {
                foreach (var item in removeColumns)
                {
                    dt.Columns.Remove(item);
                }
            }
            var sbUpdateColumns = new StringBuilder();
            var columnsIndex = 0;
            //只更新某字段
            if (UpdateColumns != null && UpdateColumns.Count > 0)
            {
                foreach (var updateColumn in UpdateColumns)
                {
                    if (columnsIndex > 0)
                    {
                        sbUpdateColumns.Append(", ");
                    }
                    sbUpdateColumns.AppendFormat("T.{0} = Tmp.{0}", updateColumn);
                    columnsIndex++;
                }
            }
            else
            {
                //更新全部字段
                for (var i = 0; i < dt.Columns.Count; i++)
                {
                    var colname = dt.Columns[i];
                    if (colname.ColumnName != onRelations)
                    {
                        if (columnsIndex > 0)
                        {
                            sbUpdateColumns.Append(", ");
                        }
                        sbUpdateColumns.AppendFormat("T.{0} = Tmp.{0}", colname.ColumnName);
                        columnsIndex++;
                    }
                }
            }
 
 
            string sbOnRelation = string.Format("T.{0} = Tmp.{1}", onRelations, onRelations);
            var tempTableName = @"#Temp" + destinationTableName;
            var createtempsql = string.Format("select * into {0} from {1} where 1=2", tempTableName, destinationTableName);
            var updatesql = string.Format("UPDATE T SET {0} FROM {1} T INNER JOIN {2} Tmp ON {3}; DROP TABLE {2};", sbUpdateColumns.ToString(), destinationTableName, tempTableName, sbOnRelation.ToString());
 
            using (SqlConnection conn = new SqlConnection(ConnString))
            {
                using (SqlCommand command = new SqlCommand("", conn))
                {
                    try
                    {
                        conn.Open();
                        command.CommandText = createtempsql;
                        command.ExecuteNonQuery();
                        using (SqlBulkCopy bulkcopy = new SqlBulkCopy(conn))
                        {
                            bulkcopy.BulkCopyTimeout = 300;
                            bulkcopy.DestinationTableName = tempTableName;
                            bulkcopy.WriteToServer(dt);
                            bulkcopy.Close();
                        }
 
                        command.CommandTimeout = 300;
                        command.CommandText = updatesql;
                        int countQuery = command.ExecuteNonQuery();
                    }
                    catch (Exception ex)
                    {
                        Console.WriteLine("BatchUpdate:{0}表失败,原因:{1}", destinationTableName, ex.Message + ex.StackTrace);
                        // Handle exception properly
                    }
                    finally
                    {
                        //stopwatch.Stop();
                        //Console.WriteLine("更新耗时:{0}",stopwatch.ElapsedMilliseconds);
                        //list.Clear();
                        conn.Close();
                    }
                }
            }
        }
        #endregion
 
    }
}

MSCL超级工具类库
基于C#开发的超强工具类,包含数据库操作,字符串处理,文件或者文件夹处理
网络请求,缓存处理,数据容器等上百个常用工具类封装,附带调用示例和参数说明,
提供CHM详细文档,上百个生产环境使用,稳定高效,简单易用。
真正做到“工具在手,一切尽有”,让你大幅度的提高编程效率,提高编程水平。
联系QQ:7400799(请备注 "MSCL")

===============================================

重要压缩文件忘记解压密码?网上下载rar/zip/7z等压缩文件,需要密码?
====极速解密助手,支持支持RAR/ZIP/7Z等多种压缩文档解密======
★ 解密不超过24小时,跟密码复杂程度相关
★ 解密成功后再收费,无套路
★ 解密成功后自动删除原件,无后顾之忧
联系QQ:7400799(请备注 "文件解密")

==============================================

Magic.Orm已在数百个成熟项目中应用,是比较完善的ORM框架(基于C#开发)。开发过程中参考了NBear与MySoft,吸取了其中的一些精华,加入新思想,
后期参考EF的Lambda语法进行大量扩展。

为什么选择Magic.Orm?

  • 上手简单,0学习成本。使用方便,按照sql书写习惯编写C#.NET代码。功能强大。
  • 高性能,接近手写Sql。
  • 体积小(不到200kb,仅一个dll)。
  • 完美支持Sql Server(2000至最新版),MySql,Oracle,Access,Sqlite等数据库。
  • 支持大量Lambda表达式写法。
  • 不需要像NHibernate的XML配置,不需要像EF的各种数据库连接驱动,集成简单。

购买源码 请联系QQ:7400799(请备注 "ORM")

posted @ 2021-02-19 14:42  深南大道  阅读(1409)  评论(0编辑  收藏  举报