Loading

2022年5月7日
ptorch常用代码梯度篇（梯度裁剪、梯度累积、冻结预训练层等）
摘要： 梯度裁剪（Gradient Clipping） 在训练比较深或者循环神经网络模型的过程中，我们有可能发生梯度爆炸的情况，这样会导致我们模型训练无法收敛。 我们可以采取一个简单的策略来避免梯度的爆炸，那就是梯度截断 Clip, 将梯度约束在某一个区间之内，在训练的过程中，在优化器更新之前进行梯度截断操 阅读全文
posted @ 2022-05-07 17:15 MapleTx 阅读(3348) 评论(0) 推荐(1) 编辑