2020年7月16日
深度学习面试题38：LSTM如何解决梯度消失问题
摘要： 目录 回顾简单RNN的梯度消失问题 LSTM如何解决梯度消失 遗忘门对梯度消失的影响 遗忘门的初始化技巧 参考资料 回顾简单RNN的梯度消失问题 在简单RNN的前向传播过程中，输入的数据循环地与隐藏层里的权重W（都是很小的数）做乘法运算，那么损失函数对较长时间步前的W的梯度就会很小（因为W会累乘，激 阅读全文
posted @ 2020-07-16 00:22 黎明程序员 阅读(2203) 评论(0) 推荐(0) 编辑