2020年7月11日
深度学习面试题35：RNN梯度消失问题(vanishing gradient)
摘要： 目录 梯度消失原因之一：激活函数 梯度消失原因之二：初始化权重 不同损失函数下RNN的梯度消失程度对比 实践中遇到梯度消失怎么办？ 参考资料 在实践过程中，RNN的一个缺点是在训练的过程中容易梯度消失。 梯度消失原因之一：激活函数 sigmod的导函数峰值为0.25，由于反向传播的距离越长，连乘的小 阅读全文
posted @ 2020-07-11 19:49 黎明程序员 阅读(1320) 评论(0) 推荐(0) 编辑