会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
yangmang
博客园
首页
新随笔
联系
订阅
管理
2017年9月5日
梯度弥散与梯度爆炸
摘要: 问题描述 先来看看问题描述。 当我们使用sigmoid funciton 作为激活函数时,随着神经网络hidden layer层数的增加,训练误差反而加大了,如上图所示。 下面以2层隐藏层神经网络为例,进行说明。 结点中的柱状图表示每个神经元参数的更新速率(梯度)大小,有图中可以看出,layer2整
阅读全文
posted @ 2017-09-05 11:30 Peter-Young
阅读(40399)
评论(1)
推荐(4)
编辑
公告