午夜稻草人

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::
  180 随笔 :: 0 文章 :: 8 评论 :: 26万 阅读
< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

01 2019 档案

梯度消失（vanishing gradient）和梯度爆炸（exploding gradient）
摘要：转自https://blog.csdn.net/guoyunfei20/article/details/78283043 神经网络中梯度不稳定的根本原因：在于前层上的梯度的计算来自于后层上梯度的乘积（链式法则）。当层数很多时，就容易出现不稳定。下边3个隐含层为例： 其b1的梯度为： 推导过程（参考） 阅读全文
posted @ 2019-01-29 11:11 午夜稻草人 阅读(265) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示