C# IEnumerable<T> 分批次返回
有的时候数据源是IEnumerable<T>,返回的数据可能有几百万条,咱们既不能等其几百万条都迭代完了后再保存(内存顶不住),也不能来一条就保存一条(cpu亚历山大),
希望能分批次的保存,比如等其每次枚举1000条,然后统一保存一下,于是我就写了2个IEnumerable<T>的分批扩展方法,一个基于条数,一个基于数据的预估字节数
/// <summary> /// 将枚举的数据按照每批次size条枚举返回 /// </summary> /// <typeparam name="T">要枚举的数据泛型</typeparam> /// <param name="values">要枚举的数据</param> /// <param name="size">每批的数量</param> /// <returns>最多size条数据的集合</returns> public static IEnumerable<List<T>> ToBatch<T>(this IEnumerable<T> values, int size) { List<T> list = new List<T>(); foreach (var val in values) { list.Add(val); if (list.Count == size) { yield return list; list.Clear(); } } yield return list; } /// <summary> /// 将枚举的数据按照每批次不超过maxByteLength字节枚举返回 /// </summary> /// <typeparam name="T">要枚举的数据泛型</typeparam> /// <param name="values">要枚举的数据</param> /// <param name="getSizeFunc">每个数据的字节数</param> /// <param name="maxByteLength">每批次不超过的字节数</param> /// <returns>不超过maxByteLength字节数据的集合</returns> public static IEnumerable<List<T>> ToBatch<T>(this IEnumerable<T> values, Func<T, int> getSizeFunc, int maxByteLength = 1024 * 1024 * 8) { List<T> list = new List<T>(); int byteLength = 0; foreach (var val in values) { int size = getSizeFunc(val); if (byteLength + size > maxByteLength) { yield return list; list.Clear(); byteLength = 0; } list.Add(val); byteLength += size; } yield return list; }
标签:
C#学习笔记
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· 写一个简单的SQL生成工具
· AI 智能体引爆开源社区「GitHub 热点速览」
· C#/.NET/.NET Core技术前沿周刊 | 第 29 期(2025年3.1-3.9)