2023年8月5日
在消费级GPU调试LLM的三种方法：梯度检查点，LoRA和量化
摘要： LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。 梯度检查点 梯度检查点是一种在神经网络训练过程中使动态计算只存储最小层数的技术。 为了理解这个过程，我们需要了解反向传播是如何执行的，以及 阅读全文
posted @ 2023-08-05 09:59 deephub 阅读(30) 评论(0) 推荐(0) 编辑