EF架构~扩展一个分页处理大数据的方法
最近总遇到大数据的问题,一次性处理几千万数据不实际,所以,我们需要对大数据进行分块处理,或者叫分页处理,我在EF架构里曾经写过类似的,那是在进行BulkInsert时,对大数据批量插入时候用到的,现在我把它拿出来,放在IQueryableExtensions类中,即它将作为IQueryable的一个扩展出现,我们可以把这个分页处理的逻辑应用的更加广泛,并且,在这个整理中,提供了异步并行版本,它比同版版本快了几十倍之多,可以说,当前的服务器,只有使用了并且计算之后,才能发挥它的作用!
/// <summary> /// 并行分页处理数据,提高系统利用率,提升系统性能 /// </summary> /// <typeparam name="TEntity"></typeparam> /// <param name="item"></param> /// <param name="method"></param> public async static Task DataPageProcessAsync<T>(
IQueryable<T> item,
Action<IEnumerable<T>> method) where T : class { await Task.Run(() => { DataPageProcess<T>(item, method); }); } /// <summary> /// 在主线程上分页处理数据 /// </summary> /// <typeparam name="T"></typeparam> /// <param name="item"></param> /// <param name="method"></param> public static void DataPageProcess<T>(
IQueryable<T> item,
Action<IEnumerable<T>> method) where T : class { if (item != null && item.Count() > 0) { var DataPageSize = 100; var DataTotalCount = item.Count(); var DataTotalPages = item.Count() / DataPageSize; if (DataTotalCount % DataPageSize > 0) DataTotalPages += 1; for (int pageIndex = 1; pageIndex <= DataTotalPages; pageIndex++) { var currentItems = item.Skip((pageIndex - 1) * DataPageSize).Take(DataPageSize).ToList(); method(currentItems); } } }
事实上,有了上面的方法,以后在进行分面处理数据时,只要有IQueryable的结果集和要处理的方法传进来就可以了,方便至极!
下面代码是选自我的FastSocket项目,对大数据进行传输时,使用的代码
#region 分页数据传输 DataPageProcessAsync(model, (list) => { client.Send("DSSInsert" , 1 , 1 , item.Name//VersionHelper.GetNumber(ProjectID.NewLearningBar) , SerializeMemoryHelper.SerializeToBinary(list) , res => res.Buffer).ContinueWith(c => { if (c.IsFaulted) { throw c.Exception; } Console.WriteLine(BitConverter.ToBoolean(c.Result, 0)); }); }); #endregion
我自己试了同步方法DataPageProcess和并行异步方法DataPageProcessAsync,后都比较前者至少要快几十倍,当然这和你的CPU有关,你的CPU处理的线程数超多,这个倍数将会越大!
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· C++代码改造为UTF-8编码问题的总结
· 【.NET】调用本地 Deepseek 模型
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
2013-02-05 不说技术~希望所有人都好好的
2013-02-05 DDD~概念中的DDD