2020年10月21日
梯度消失和梯度爆炸及解决方案
摘要： 梯度在神经网络中的作用 在谈梯度消失和梯度爆炸的问题之前，我们先来考虑一下为什么我们要利用梯度，同时铺垫一些公式，以便于后面的理解。 存在梯度消失和梯度爆炸问题的根本原因就是我们在深度神网络中利用反向传播的思想来进行权重的更新。即根据损失函数计算出的误差，然后通过梯度反向传播来减小误差、更新权重。 阅读全文
posted @ 2020-10-21 15:58 JYRoy 阅读(1897) 评论(0) 推荐(1) 编辑