pytorch，训练模型时内存占用不断上升

重点关注带有梯度的变量，特别是累积它们或收集它们的地方
我的问题是，在训练的时候收集logits时，忘记加上.detach()，导致梯度信息也跟着收集，然后内存占用不断上升甚至超过90G
加上.detach()后，就固定在44G不变了

posted @   kksk43  阅读(74)  评论(0)  编辑  收藏  举报
编辑推荐：
· AI与.NET技术实操系列：向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列：如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
阅读排行：
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码？零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾（3.3-3.9）
· winform 绘制太阳，地球，月球 运作规律
特效
黑夜
侧边栏隐藏
点击右上角即可分享
微信分享提示
AI IDE Trae