通用的高度可扩展的Excel导入实现（附Demo）

Demo源码

背景

　　通过程序将excel导入到数据库中是一项非常常见的功能。通常的做法是：先将excel转成DataTable，然后将DataTable转换成List<T>，最终通过List<T>导入进数据库。

　　同时，一般的ExcelUtil基类也会提供类似List<T> GetEntityListFromFile<T>(string fileName)的实现，但是这些实现一般都是机械化地对应，缺少一些自定义的操作。

问题

　　在我的开发过程中，就导入excel这一块就碰到了以下的一些问题：

1. 　　excel中的列名可能不止一个（客户可能没有下载模板或者模板的版本不对，导致同一列可能有多个列名，例如【ID】和【编号】可能都对应实体类中的【ID】列）
2. 　　excel中的列可能对应着实体类中的多个列（例如实体类中有【ID】、【Name】两个字段，而excel模板中只有【ID】，我们需要通过excel中的【ID】从数据库中找到Name值去填充实体类的【Name】）
3. 　　需要对excel中某些数据的有效性做验证，包括但不限于“数据类型有效”，“数据在数据库中的存在性”，“数据在数据库中的状态有效”等等
4. 　　需要对excel中的某些列进行自定义的映射（例如实体类和excel中都有【Status】，我们需要将excel中的【Status】写“1”和写“激活”的都填充实体类的【Status】为“1”）

　　以上这些问题，仅仅通过基类提供的方法是无法实现的，所以本篇文章提供一种高度自定义的Excel导入通过模块的实现，期以解决以上问题。

Demo程序结构概览

　　

　　

ps：要下班了，今日就先发这么多，

　　大家可以先下Demo看一下，功能都实现了，有问题可以大家一起交流，

　　如果大家想知道具体流程，我就再添加。

实现思路

　　首先，需要明确的是我们的需求：

1. 使用c#技术，将excel导入到程序中，并以List<Entity>的形式进行存在
2. 可以自定义excel的列名和Entity中属性的对应关系，支持excel中多个列名对应Entity中同一个属性，也支持Entity中的多个属性对应excel中的一个列名
3. 可以自定义excel中列的值转换函数，假设excel中有“状态”列对应到Entity中的Status属性，在excel中的“状态”列中写【激活】或者【1】，最终都对应到Status的【true】
4. 可以自定义excel中列的值有效性验证函数

　　接下来，就简要讲述一下以上功能的实现：

• 类【public class ImportUtil<Entity> where Entity : new()】实现了excel的导入功能，Entity为实体类类型

    /// <summary>
    /// 高度可扩展的excel导入 By Dean 20140320
    /// 应用场景：1 需要支持实体类属性和excel中列的一对多关系 如excel中的列名是JHB、聚好币、PV时候，均认为映射到实体中的JHB字段
    ///2 需要支持实体类属性和excel中列的多对一关系 如excel中只包含“名称”列，有同时填充实体类的Code & Name属性时，可以将Code属性也对应到“名称”列，然后写一个转换函数，通过“名称”从DB中取出Code再映射
    /// 功    能：1 可以自动剔除全部为空的行
    ///           2 能够自定义地设置将excel中的列映射到实体类上的哪个字段，以及映射的方法
    ///           3 能够对excel中的数据的有效性进行自定义的检查
    /// </summary>
    /// <typeparam name="Entity"></typeparam>
    public class ImportUtil<Entity> where Entity : new()

• ImportUtil类中有唯一的构造函数【public ImportUtil(Dictionary<string, string> allColumns)】

　　public ImportUtil(Dictionary<string, string> allColumns)
   {
        AllColumns = allColumns;
   }

　　　　　　　//实体类列和excel列的对应关系
            Dictionary<string, string> allColumns = new Dictionary<string, string>
            {
                {"ID","编号"},
                {"StudentID","学生编号|学生ID"},{"StudentName","学生编号|学生ID"},
                {"DisciplineID","学科编号"},{"DisciplineName","学科编号"},
                {"Score","学科分数"},
                {"MakeUpExamTime","补考日期"}
            };

 

　　该构造函数传入参数allColumns，是一个Dictionary<string,string>类型的，该参数实现了需求2，字典的Key是实体类Entity中的【属性名称】，字典的Value是excel中的【列名称】，使用|来支持excel的多列名。

• ImportUtil类中有唯一的对外公开的方法【public List<Entity> GetEntityList】

        /// <summary>
        /// 根据excel文件名获取实体类列表 《唯一向外部公开的接口》
        /// </summary>
        /// <param name="fileName">excel文件名</param>
        /// <param name="errorInfo">导入过程中的任何错误信息都会放到这里面</param>
        /// <param name="converterFields">需要进行预定义类型转换的列</param>
        /// <param name="customConverts">需要进行自定义类型转换（key是实体类对应的列，value是包含excel中对应列的值和操作后的返回值的Func）</param>
        /// <param name="dataValidateChecks">在进行excel列映射到实体类之前，对excel列中的值进行的预检查</param>
        /// <returns>实体类列表</returns>
        public List<Entity> GetEntityList(string fileName,
                                          List<string> errorInfo,
                                          Dictionary<KnownDataType, List<string>> converterFields = null,
                                          Dictionary<string, Func<object, object>> customConverts = null,
                                          Dictionary<string, Func<object, string>> dataValidateChecks = null)

　　该方法有5个输入参数，其中fileName和errorInfo是必输的，方法最终返回的就是我们所需要的List<Entity>，方法的执行过程就是先通过excel的地址将excel导入称为DataTable，然后将DataTable转换成List<T>，在转换的过程中进行数据的有效性验证和数据值的类型转换。

下面简单介绍一下这5个参数：

1. fileName，string，需要导入的excel的地址；
2. errorInfo，List<string>，导入过程中所发生的错误信息；
3. convertFields，Dictionary<KnownDataType,List<string>>，预定义的类型转换；excel中的列都是object类型的，而Entity中的属性却是强类型的，对于Int，Decimal，Double，DateTime已经定义好了相关的转换函数，仅需将Entity属性名称传入，在进行DataTable转List<Entity>时就能够将对应Column的值进行预定义的类型转换

   　　         //预定义类型转换
               Dictionary<KnownDataType, List<string>> convertFields = new Dictionary<KnownDataType, List<string>>
               {
                   {KnownDataType.Int, new List<string> {"ID", "StudentID", "DisciplineID"}},
                   {KnownDataType.Double, new List<string> {"Score"}}
               };

4. customConverts，Dictionary<string,Func<object,object>>，自定义的类型转换；预定义的类型转换通常只是将excel中的列转成对应的类型或者给个默认值，是通用的操作，但是我们常常需要对excel中的列进行自定义的转换，例如：excel中有“编号”列，设置同时对应到Entity的“ID”、“Name”属性，而“ID”属性可以直接使用预定义转换完成，“Name”列则需要通过“编号”从数据库中找到“Name”再赋值给“Name”。因此，这时候我们需要自定义的转换。写法如下：

               //自定义类型转换
               Dictionary<string, Func<object, object>> customConverts = new Dictionary<string, Func<object, object>>
               {
                   {
                       "StudentName", currColumn =>
                       {
                           int studentID;
                           if (currColumn != null && int.TryParse(currColumn.ToString(), out studentID))
                           {
                               var r = DataPool.EntireStudents.Find(c => c.ID == studentID);
                               if (r != null)
                               {
                                   return r.Name;
                               }
                           }
                           return string.Empty;
                       }
                   },
                   {
                       "MakeUpExamTime", currColumn =>
                       {
                           DateTime colDateTime;
                           if (currColumn != null && DateTime.TryParse(currColumn.ToString(), out colDateTime))
                           {
                               return colDateTime;
                           }
                           return null;
                       }
                   }
               };

5. dataValidateChecks，Dictionary<string,Func<object,string>>，excel列的数据有效性验证，在Entity的每个属性的赋值之前都会先验证一下excel的数据是否有效，Key是要验证的属性的名字，Value是一个Func，输入参数就是excel的列值，返回的是string，验证通过时是string.Empty，验证不通过返回的是错误信息。写法如下：

               //excel列的数据有效性验证 以下完成了对excel中编号列的值必须为整数且不为空的验证的设定
               Dictionary<string,Func<object,string>> dataValidateChecks = new Dictionary<string, Func<object, string>>
               {
                   {
                       "ID", currColumn =>
                       {
                           int idInt;
                           if (currColumn!=null&&int.TryParse(currColumn.ToString(),out idInt))
                           {
                               return string.Empty;
                           }
                           return "ID不能为空且必须为整数";
                       }
                   }
               };

               //执行excel导入
               var res = importUtil.GetEntityList(excelPath, errors, convertFields, customConverts, dataValidateChecks);