2023年2月1日
在 PyTorch 中使用梯度检查点在GPU 上训练更大的模型
摘要： 作为机器学习从业者，我们经常会遇到这样的情况，想要训练一个比较大的模型，而 GPU 却因为内存不足而无法训练它。当我们在出于安全原因不允许在云计算的环境中工作时，这个问题经常会出现。在这样的环境中，我们无法足够快地扩展或切换到功能强大的硬件并训练模型。并且由于梯度下降算法的性质，通常较大的批次在大多 阅读全文
posted @ 2023-02-01 11:09 deephub 阅读(32) 评论(0) 推荐(0) 编辑