随笔分类 -  深度学习

RNN梯度消失问题
摘要：关于梯度消失问题: 1.网络层次越深, 越容易引起梯度消失, 无论是纵向网络(bp), 还是横向网络(rnn), 梯度消失是由激活函数的导数位于[0,1]区间引起的 2.bp网络梯度消失会导致最前端的W学习不到, 而rnn梯度消失会引起记忆问题,只能学习到短期网络, 具体见https://www.j 阅读全文
posted @ 2023-02-27 14:42 車輪の唄 阅读(92) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示