【DL基础】DL权重参数初始化方法总结

参数初始化的理想状态是参数正负各半，期望为0。

正确的初始化方法应该避免指数级地减小或放大输入值的大小，防止梯度“饱和”。 

对于权值的初始化，Glorot提出两个准则：

• 各个层激活值的方差保持不变（正向传播）
• 各个层的梯度值的方差保持不变（反向传播）

 

参考

1. 神经网络参数初始化（MSRA、Xavier）；

完