会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
我爱你,中国!
博客园
首页
新随笔
联系
管理
订阅
2017年2月17日
Understanding the difficulty of training deep feedforward neural networks
摘要: 本文作者为:Xavier Glorot与Yoshua Bengio。 本文干了点什么呢? 第一步:探索了不同的激活函数对网络的影响(包括:sigmoid函数,双曲正切函数和softsign y = x/(1+|x|) 函数)。 文中通过不断的实验:1,来monitor网络中隐藏单元的激活值来观察它的饱和性;2. 梯度。 并且evaluate 所选择的激活函数与初始化方法(预训练被看作一种特殊...
阅读全文
posted @ 2017-02-17 22:14 殷大侠
阅读(6034)
评论(1)
推荐(2)
编辑
公告