神经网络梯度爆炸/消失以及改善方式(吴恩达)

神经网络的传播(前向)过程如图，如果ω>1（即使是稍微大一点点），只要层数足够多最后会造成ω呈指数上升，这就是梯度爆炸；同理，当ω<1（即使是稍微小一点点），ω会快速缩小逼近0，这就是梯度消失

 

 

 

目前能稍微解决的方法是对ω进行合理地初始化

对于若干层数且每层的神经元数量不尽相同的情况下，比较好的取向是神经元数量多的ω大小尽可能小，而神经元数量少的ω尽可能大，即神经元数量与ω成反比关系：ω∝k/√n，其中k为常数，n为神经元数

实际使用中，k的取值需要考虑激活函数。如ReLU函数k取2，tanh函数k取1

根据之前 随机初始化参数的必要性 https://www.cnblogs.com/toriyung/p/16406891.html

可得到ω的初始化值：

ω = np.random()*np.sqrt(1/n)*k