2020年3月30日
[机器学习]批归一化和层归一化
摘要： 批归一化和层归一化 批归一化 内部协变量偏移 内部协变量偏移ICS指的是深度神经网络在训练时，随着参数的不断更新，中间隐藏层的输入分布发生较大差异，导致网络需要不断的适应新的数据分布，进而增加了学习难度。[传统解决方案：较小的学习率、合适的初始化参数] 梯度饱和 sigmoid激活函数和tanh激活 阅读全文
posted @ 2020-03-30 14:16 龍馬 阅读(2560) 评论(0) 推荐(0) 编辑