随机初始化模型参数

一、前言

1、在神经网络中，我们通常需要随机初始化模型的参数。我们可以这样理解

2、假设在一个多层感知机中，输出层只有一个元素（简化处理）。如果将每个隐藏单元的参数都初始化为相同的值，那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值，并传递至输出层。在反向传递中，每个隐藏单元的参数梯度值相等。所以，这些参数在使用梯度优化算法后梯度值依然相等。之后的迭代也是如此。在这种情况下，无论隐藏层=单元有多少，隐藏层的本质只有一个隐藏单元在发挥作用。因此，我们通常对神经网络的模型参数，特别是权重参数进行随机初始化

3、随机初始化是保证在进行优化前打破对称性的关键

 

二、初始化方法

1、默认随机初始化：我们使用正态分布来初始化权重值。如果我们不指定初始化方法，框架将使用默认的随机初始化方法，对于中等规模的问题，这种方法通常很有效。

2、Xavier初始化：假设某全连接层的输入个数为a(𝑛in)，输出个数为b(𝑛out)，Xavier随机初始化将使该层中权重参数的每个元素都随机采样与均匀分布（均匀分布由两个参数a和b定义，它们是数轴上的最小值和最大值，通常缩写为U（a，b））。它的设计考虑到，模型参数初始化后，每层输出的方差不该受到该层输入个数影响，且每层梯度的方差也不该受该层输出个数影响。

 

三、讨论

为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等

理解：

1、我认为网络学习的是训练数据的空间分布，即训练收敛时，整个输出空间应该是输入空间分布的某种稳定投影。从层的角度来看，假如2层网络：A->B，B希望获得稳定输出，但由于每次学习更新导致A也在变化，所以B想稳定就比较难。怎么办，保证A和B的分布一样，这样学习就简单一点，即可以理解成信息流通更流畅

2、 解释得挺有道理，谢谢回答！ 昨天也问了一个博主，他的回答也挺有道理的。copy来给你看看 “本文的思想在考虑线性激活函数的情况下, 在初始化的时候使各层神经元的方差保持不变, 即使各层有着相同的分布. 如果每层都用N(0, 0.01)随机初始化的话, 各层的数据分布不一致, 随着层度的增加, 神经元将集中在很大的值或很小的值, 不利于传递信息. 很多初始化策略都是为了保持每层的分布不变, 而BN是通过增加归一化层使得每层数据分布保持在N(0, 1)”

 

摘自：https://blog.csdn.net/shuzfan/article/details/51338178?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162754943616780274181377%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=162754943616780274181377&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_v2~rank_v29-1-51338178.pc_search_result_cache&utm_term=Xavier%E5%88%9D%E5%A7%8B%E5%8C%96&spm=1018.2226.3001.4187