会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
会飞的两棵树
博客园
首页
新随笔
联系
订阅
管理
2019年5月25日
Relu的缺点
摘要: Relu不适合梯度过大的的输入 Relu是我们在训练网络时常用的激活函数之一(对我而言没有之一)。然而最近发现Relu太脆弱了,经常由于输入的函数梯度过大导致网络参数更新后,神经元不再有激活功能。特别是网络在训练刚开始的时候(如果在使用Focal loss,这种现象更容易发生)。 在这种情况下,或许
阅读全文
posted @ 2019-05-25 21:00 会飞的两棵树
阅读(2216)
评论(0)
推荐(0)
编辑
公告