会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Loading
苑无违的博客
衣沾不足惜
博客园
首页
新随笔
联系
订阅
管理
2022年5月7日
ptorch常用代码梯度篇(梯度裁剪、梯度累积、冻结预训练层等)
摘要: 梯度裁剪(Gradient Clipping) 在训练比较深或者循环神经网络模型的过程中,我们有可能发生梯度爆炸的情况,这样会导致我们模型训练无法收敛。 我们可以采取一个简单的策略来避免梯度的爆炸,那就是梯度截断 Clip, 将梯度约束在某一个区间之内,在训练的过程中,在优化器更新之前进行梯度截断操
阅读全文
posted @ 2022-05-07 17:15 MapleTx
阅读(3348)
评论(0)
推荐(1)
编辑
公告