神经网络层数增多 梯度消失、爆炸问题 以及 激活函数在反向传播中的作用

假设有一个三层全连接网络，设\(x_i\)为第i层网络的输入，\(f_i\)为第i层激活函数的输出，，则
\(x_i = f_{i - 1}\)

\(f_{i+1} = f(f_i * w + b)\)

注意现在x是已知的，要通过已知的x去训练w

设\(Loos = g(f_3)\)

则\(w_{3(new)} = w_{3(old)} - lr * \delta Loss / \delta w_{3(old)}\)

其中\(\delta Loss / \delta w_{3(old)} = \delta Loss / \delta f_3 * \delta f_3 / \delta w_{3(old)} = \delta Loss / \delta f_3 * f'_3(w_{3(old)})\)

推广得
\(\delta Loss / \delta w_{1(old)} = (\delta Loss / \delta f_3) * (\delta f_3 / \delta f_2) * (\delta f_2 / \delta f_1) * (\delta f_1 / w_{1(old)})\)

又因为\(x_i = f_{i - 1}\)，所以

\(\delta Loss / \delta w_{1(old)} = (\delta Loss / \delta f_3) * f'_3 * f'_2 * f'_1\)

tanh：

sigmoid：

relu：

图像可见，tanh和sigmoid当值较大时会发生饱和现象，导数较小，当网络很深时，传播到第一层时，梯度就会趋近于0，因此训练时拟合得较慢，训练时间就比较长
relu得导数要么是0要么是1，因此训练得就比较快。
梯度爆炸和消失：
对于\(f'_i\)
此部分大于1，那么层数增多的时候，最终的求出的梯度更新将以指数形式增加，即发生梯度爆炸，
如果此部分小于1，那么随着层数增多，求出的梯度更新信息将会以指数形式衰减，即发生了梯度消失。