梯度弥散和梯度爆炸

一、现象介绍

靠近输出层的hidden layer 梯度大，参数更新快，所以很快就会收敛；

而靠近输入层的hidden layer 梯度小，参数更新慢，几乎就和初始状态一样，随机分布。

这种现象就是梯度弥散（vanishing gradient problem）。

而在另一种情况中，前面layer的梯度通过训练变大，而后面layer的梯度指数级增大，这种现象又叫做梯度爆炸(exploding gradient problem)。

总的来说，就是在这个深度网络中，梯度相当不稳定(unstable)。

 

二、梯度消失与梯度爆炸原因

首先，来看神经网络更新梯度的原理，即反向传播算法。（反向传播算法请移步：https://www.cnblogs.com/CJT-blog/p/10419523.html）

通过反向传播算法更新梯度的公式可以看到，影响梯度更新的有，初始权重、激活函数、梯度流动方式、损失值过大等。

下面分别来一一进行介绍：

（1）初始权重带来的影响：神经网络权重初始化不当；

（2）激活函数带来的影响：激活函数选择不当；

（3）梯度流动方式带来的影响：网络结构本身的问题，如RNN；

（4）损失值过大带来的影响：数据集的问题，如标注不准等。

下面，就来对这几种情况分别进行一一介绍。

 

三、各类原因以及解决方法

1、神经网络权重初始化不当

深度神经网络训练的时候，采用反向传导的方式，其背后的本质是链式求导，计算每层梯度的时候会涉及到一些连乘操作。每一层的残差都由后一层的残差乘以两层之间的权重矩阵，再乘以当前层的激活函数的导数得到。因此，神经网络权重的初始化至关重要，不当的初始化可能会带来梯度消失或者梯度爆炸。

当网络过深，如果连乘的因子大部分小于1，最后乘积可能趋于0；另一方面，如果连乘的因子大部分大于1，最后乘积可能趋于无穷。这就是所谓的梯度消失与梯度爆炸。

防止因权重初始化不当带来的梯度爆炸：

(1) 使用Xavier初始化法或者MSRA初始化法，使得在深度网络的每一层，激活值都有很好的分布。

(2) 使用预训练模型，初始化已有网络层的权重。

2、激活函数选择不当

激活函数可移步：https://www.cnblogs.com/CJT-blog/p/10421822.html

sigmoid函数：

tanh函数：

如果选择sigmoid 或者 tanh 函数，由它们的曲线可以看出，当输入很大或者很小的时候，饱和的神经元会带来梯度消失。

防止因激活函数选择不当带来的梯度消失：

1.最常使用Relu，需要小心地调节学习速率（如果relu参数初始化不理想，前向计算结果为负值，则进行梯度计算的时候全部变为0，在反向计算的时候也会没有响应）；

2.偶尔可考虑Relu的变种，如Leaky Relu；

3.一般不使用sigmoid

3、神经网络本身的结构问题，如RNN

 

RNN相当于把许多循环神经网络单元连接成一个序列。可以设想梯度流穿过，当我们要计算关于h0的损失函数的梯度时，反向传播需要经过RNN中的每一个单元。每次反向传播经过一个单元时，都要使用其中某一个W的转置。

这意味着最终的表达式对h0梯度的表达式将会包含很多很多权重矩阵因子，这样不断对同一个值做乘法，是非常糟糕的。

在标量情况下，要么当这个值的绝对值大于1时，发生梯度爆炸；要么当这个值的绝对值小于1时，发生梯度消失，直到为0。既不发生梯度爆炸也不发生梯度消失，也就是当这个值正好为1。

对于矩阵而言，需要关注矩阵的最大奇异值，如果最大奇异值大于1，会发生梯度爆炸；如果最大奇异值小于1，会发生梯度消失。

防止因使用循环神经网络RNN带来的梯度消失与梯度爆炸问题：

1.设置梯度剪切阈值（gradient clipping threshold），一旦梯度超过该值，直接设置为该值；

2.使用沿时间的截断反向传导方法（详见[深度学习]循环神经网络：RNN，LSTM，GRU，Attention机制，沿时间的截断反向传导算法）；

2.使用更加复杂的RNN结构，例如LSTM。

LSTM能尽量避免梯度爆炸或者梯度消失的原因有两个：

1.这里的遗忘门是矩阵元素相乘，而不是矩阵相乘。

2.矩阵元素相乘，可能会在不同的时间点乘以一个不同的遗忘门。

3.遗忘门是一个sigmoid函数，所以矩阵元素相乘的结果，会保证在(0,1)之间。

4.从最后的隐藏单元状态，反向传播到第一个单元状态，在反向传播的路径上，我们只通过一个单一的非线性tanh向后传播，而不是在每一个时间步长中单独设置tanh函数。

4、数据集本身问题
数据集本身可能标注不准确，引入大量噪声。以图片数据集为例，具体情况可能包括：

1.在目标检测中，四边形标注框与实际不匹配，标注框的面积过多大于实际目标的面积；

2.在使用mask rcnn检测目标时，只用四点标注的bounding boxes来生成mask，可能会导致生成的mask不够准确。如果偏差过大，也会引入梯度爆炸；

3.在场景文字检测中，为了套用已有的检测水平方向物体的目标检测框架，将原有的任意四边形标注框转换为其水平方向的最小外接矩形，也会导致标注框的面积过多大于实际目标的面积；

4.在场景文字识别中，对于一张完整的图片，一般是根据坐标对单词区域进行裁剪，再将所有的单词区域缩放成相同的大小。一是单词区域裁剪不准确，二是如果缩放尺寸没有选择好，较小的图片放大成过大的尺寸，会使得训练图片非常模糊，引入大量噪声。

对于数据集本身的问题，带来的梯度爆炸问题，一般需要注意，尽量使得标注准确，除非是进行难样本挖掘操作，一般尽量使用清晰的图片。

四、补充

1、如何确定是否出现梯度爆炸？

在训练过程中出现梯度爆炸会伴随一些细微的信号，如：

（1）模型无法从训练数据中获得更新；

（2）模型不稳定，导致更新过程中的损失出现显著变化；

（3）训练过程中，模型的损失变为Nan。

2、loss为Nan原因

1.梯度爆炸。梯度变得非常大，使得学习过程难以继续。

2.不当的损失函数。

3.不当的输入。

4.池化层中步长比卷积核的尺寸大。

3、针对梯度爆炸主要做法是：一般靠裁剪后的优化算法解决。比如gradient clipping（如果梯度的范数大于某个给定值，将梯度同比收缩）。

4、BN层防止梯度弥散

BN（Batch Normalization）层的作用
（1）加速收敛（2）控制过拟合，可以少用或不用Dropout和正则（3）降低网络对初始化权重不敏感（4）允许使用较大的学习率
在每一层输入的时候，加个BN预处理操作。BN应作用在非线性映射前，即对x=Wu+b做规范化。在BN中，是通过将activation规范为均值和方差一致的手段使得原本会减小的activation的scale变大。可以说是一种更有效的local response normalization方法。

BN层请移步：等一下。

 

转自：https://blog.csdn.net/u013250416/article/details/81410693

参考：https://www.cnblogs.com/callyblog/p/8098646.html

https://blog.csdn.net/manong_wxd/article/details/78735599

https://blog.csdn.net/u013403054/article/details/78424095