会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
猪的饲养员
上一页
1
2
3
2017年12月17日
深度拾遗(01) - 梯度爆炸/梯度消失/Batch Normal
摘要: 什么是梯度爆炸/梯度消失? 深度神经网络训练的时候,采用的是反向传播方式,该方式使用链式求导,计算每层梯度的时候会涉及一些连乘操作,因此如果网络过深。 那么如果连乘的因子大部分小于1,最后乘积的结果可能趋于0,也就是梯度消失,后面的网络层的参数不发生变化. 那么如果连乘的因子大部分大于1,最后乘积可
阅读全文
posted @ 2017-12-17 10:37 猪的饲养员
阅读(5947)
评论(0)
推荐(0)
编辑
上一页
1
2
3
导航
博客园
首页
新随笔
联系
订阅
管理
公告