记一次Entity Framework 项目的优化过程

在博客园看了不少其他大神的经验。今天也抽空贡献点自己的经验（并不是说自己也是大神。。小弟还只新手程序员去年才毕业的）

好了废话不多说，直接进入主题。（具体的好坏各位看官就随便看看吧。。没有什么好坏之分，纯粹只是一次优化过程的经历。）

首先介绍下项目背景

为某政府单位做的项目，市级的。

用的是Entity Framework 的框架（具体内部如何，不便透露，尽请谅解）

然后说下数据量 大概8W家企业数据，

每家企业大概会有1-2条记录

然后对这部分数据进行报表统计

一共需要统计8个类型的数据

大致表格就是14行8列的数据

然后我们对于每个单元格的数据 都要去读取一下 数据库。

具体请参照代码

?

public DataTable mytestMethod(DateTime dtbegintime, DateTime dtendtime)

   {

       DataTable dt = new DataTable();

       dt.Columns.Add("ID", typeof(string));

       dt.Columns.Add("1", typeof(string));

       dt.Columns.Add("2", typeof(string));

       dt.Columns.Add("3", typeof(string));

       dt.Columns.Add("4", typeof(string));

       dt.Columns.Add("5", typeof(string));

       dt.Columns.Add("6", typeof(string));

       dt.Columns.Add("7", typeof(string));

       dt.Columns.Add("8", typeof(string));

       List<区> qus = Content.QuServices.GetList();

      foreach( qu in qus)

          {

               datarow dr=dt.newrow();

       dr["1"]=获取的数据.count;

       ......

       .......

       dr["8"]=获取的数据.count;

 

                      dt.Rows.Add(dr);

 

 

          };

       dt.DefaultView.Sort = "1";

       dt = dt.DefaultView.ToTable();

       return dt;

   }

　　

我们对于每张表 都只能获取这个表的实体。无法做到组合操作

例如 班级表 学生表  爱好表

就只能获取 list<班级>或者 list<学生>

如果学生里面有部分属性需要使用爱好表的操作的话

就是用懒加载的 学生表。爱好表.属性  来操作

 

第一个版本的 结果就是 我们可能只是用到  查询出来 的学生表 的个数就够了

但是我们获取过来的却是list<学生表>然后 list<学生表>.count 来获取个数。

这样的话 从各方面考虑都大大制约了速度。

 

后来我就想到了用分页的方法

我们底层会有一个分页方法

pageData 类型

包含两个属性 一个 是totalCount（总数） 一个datalist（分页部分的数据）

 

然后我就想到利用分页获取 也就出些了下面这部分代码

 

?

public DataTable mytestMethod(DateTime dtbegintime, DateTime dtendtime)

     {

         DataTable dt = new DataTable();

         dt.Columns.Add("ID", typeof(string));

         dt.Columns.Add("1", typeof(string));

         dt.Columns.Add("2", typeof(string));

         dt.Columns.Add("3", typeof(string));

         dt.Columns.Add("4", typeof(string));

         dt.Columns.Add("5", typeof(string));

         dt.Columns.Add("6", typeof(string));

         dt.Columns.Add("7", typeof(string));

         dt.Columns.Add("8", typeof(string));

         List<区> qus = Content.QuServices.GetList();

        foreach( qu in qus)

            {

                 datarow dr=dt.newrow();

         dr["1"]=获取分页的数据.totalCount;//分页的pagesize 和pageindex 都传1

         ......

         .......

         dr["8"]=获取分页的数据.totalCount;

 

                        dt.Rows.Add(dr);

 

 

            };

         dt.DefaultView.Sort = "1";

         dt = dt.DefaultView.ToTable();

         return dt;

     }

　　

 大致就是利用分页的方法 获取数据的时候只获取 1,1 的数据

这样即可以得到总数又简化了数据量

效果的话并是特别明显但也快了大概4秒的样子。。原先是17秒的 现在要13秒左右

当然这肯定是不行的

然后我导师就让我用Parallel.ForEach 来代替 forearch方法。

这会速度提升非常明显，大概提升了 一倍吧。原先13秒的速度 如今只用 6秒左右了 。但是偶尔会7-8秒的样子

另外发现parallel 非常吃性能。。如果多刷几次的话 貌似就会悲剧掉。

至于Parallel的用法 ，大家可以自己百度一下。

这边需要注意的是 parallel 是并行处理。所以做运算的时候需要注意下 ，不然数据很容易出错。

 

 

最后发现显然还是用SQL 直接组合起来查询比较好。

因为不管老的怎么并行处理 到最后他都是会做14*8=112 次数据查询操作。

所以最后只能继续苦逼的写SQL 组合查询 了。

速度的话 从6秒优化到了3秒 。

本来以为使用了我们的框架就可以脱离sql语句的编写了。没想到最后还是回归了SQL的怀抱。。

哎。。第一次写这种经验类的文章

文章写的很乱。可能很多人看不懂吧，希望大家见谅。

如果发现看到最后是浪费大家的时间 还请各位大神息怒息怒。

最后总结下 就是 从foreach 到parallel 到 SQL的过程