会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
龍馬
博客园
首页
新随笔
联系
订阅
管理
2020年3月30日
[机器学习]批归一化和层归一化
摘要: 批归一化和层归一化 批归一化 内部协变量偏移 内部协变量偏移ICS指的是深度神经网络在训练时,随着参数的不断更新,中间隐藏层的输入分布发生较大差异,导致网络需要不断的适应新的数据分布,进而增加了学习难度。[传统解决方案:较小的学习率、合适的初始化参数] 梯度饱和 sigmoid激活函数和tanh激活
阅读全文
posted @ 2020-03-30 14:16 龍馬
阅读(2560)
评论(0)
推荐(0)
编辑
公告