初始化 w b,其实并没有特别统一的规定,只是有一些经验,而这些经验并没有被严格证明,所以不保证一定有效;

假设我们选择 sigmoid 为激活函数,我们需要把 sigmoid 的输入定格于 0 附近,因为这里梯度比较明显;

换句话说就是要把 wx+b 的值置于 0 左右,这样才不容易梯度消失;

 

核心思想与方法

w 的初始化原则,即保证 wx+b 在 0 附近,

1. 一般采用 std 很小的截断的正态分布

2. 也可根据一些经验,其原理也是一样的,稍微麻烦点,如下

 

潜在问题

上述方式的问题在于,刚开始是保证了 wx+b 在 0 附近,但是训练一段时间后,无法保证还在 0 附近,所以也是一种理想化方法,BN或许可以解决这个问题,如果可以,那参数随便初始化就行了,仅限于理论哦

 

公认有效的初始化方法

xavier 初始化

泽维尔

 

kaiming 初始化

何凯明

 

 

 

参考资料: