C#导出大量数据到excel,怎么提升性能

一,要提升性能,我们先要知道耗时的地方在哪里

1,数据库查询,
2,把数据组合成新集合循环嵌套太多

二,那我们怎么优化呢?

一,数据库查询,
1》,数据库查询:如果数据量小,我们可以用临时datatable,连表查询,,可是如果是连表都是千万级上亿数据,就不建议用连表
那这个时候该怎么办呢?
2》这个时候我们可以选择先单表查询,然后再循环体查询自己所要的其他关联数据,这个时候我们需要注意的点是什么?
3》减少数据库查询!!!!!!!!!这个是重点,那怎么减少呢?正常逻辑如下代码,可是数据量很耗性能

foreach (var item in listST)
{
    var sModel= GetModel();  //如果这个方法每次都查询一次数据库,会很耗性能!!!导致循环循环很慢!,即时使用缓存也会很慢
    item.name = sModel.name;
}

4》我们可以换一种思路,优化如下代码:

List<Student> listST = new List<Student>();
List<int> listInt = new List<int>();
int g = 0;
foreach (var item in listST)
{
    ////我们可以选择每两千条数据查询一次
    ////保存成一个集合
    if (g % 2000 == 0)
    {
          listST = GetList($"id in ({string.Join(",", listST.Skip(g).Take(2000).Select(m => m.id).Distinct().ToArray())})", 2000, 1, "name,Id");
    }
    var sModel = listST.FirstOrDefault(m => m.id == item.id);
    item.name = sModel.name;
    g++;
}

 


二,把数据组合成新集合循环嵌套太多,这个就是优化逻辑,减少循环嵌套

posted @ 2019-08-08 17:16  叶丶梓轩  阅读(1945)  评论(0编辑  收藏  举报