会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
黎明程序员
博客园
首页
联系
管理
订阅
2020年7月11日
深度学习面试题35:RNN梯度消失问题(vanishing gradient)
摘要: 目录 梯度消失原因之一:激活函数 梯度消失原因之二:初始化权重 不同损失函数下RNN的梯度消失程度对比 实践中遇到梯度消失怎么办? 参考资料 在实践过程中,RNN的一个缺点是在训练的过程中容易梯度消失。 梯度消失原因之一:激活函数 sigmod的导函数峰值为0.25,由于反向传播的距离越长,连乘的小
阅读全文
posted @ 2020-07-11 19:49 黎明程序员
阅读(1275)
评论(0)
推荐(0)
编辑
公告