会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
banluxinshou
博客园
首页
新随笔
联系
订阅
管理
2020年11月20日
神经网络中的权重初始化
摘要: ###1. 为什么要初始化权重 为了使网络中的信息更好的传递,每一层的特征的方差(标准差)应该尽可能相等,否则可能会导致梯度爆炸或者消失。 权重初始化的目的是在深度神经网络中前向传递时,阻止网络层的激活函数输出爆炸(无穷大)或者消失(0)。如果网络层的输出爆炸或者消失,损失函数的梯度 也会变得很大或
阅读全文
posted @ 2020-11-20 09:39 banluxinshou
阅读(2887)
评论(0)
推荐(1)
编辑
公告