第二节，神经网络中反向传播四个基本公式证明——BackPropagation

假设一个三层的神经网络结构图如下：

对于一个单独的训练样本x其二次代价函数可以写成：

C = 1/2|| y - a^L||² = 1/2∑_j(y_j - a_j^L)²

a_j^L=σ(z_j^L)

z_j^l = ∑_kω_jk^la_k^l-1 + b_j^l

代价函数C是a_j^L的函数，a_j^L又是z_j^L的函数，z_j^L又是ω_jk^L的函数，同时又是a_k^L-1的函数......

证明四个基本方程(BP1-BP4)，所有这些都是多元微积分的链式法则的推论

δ_j^L = (∂C/∂a_j^L)σ'(z_j^L) (BP1)

δ_j^l = ∑_kω_kj^l+1δ_k^l+1σ'(z_j^l) (BP2)

　　　 ∂C/∂ω_jk^l= δ_j^la_k^l-1(BP3)

∂C/∂b_j^l= δ_j^l(BP4)

1.让我们从方程(BP1)开始，它给出了输出误差δ^L的表达式。

δ_j^L = ∂C/∂z_j^L

应用链式法则，我们可以就输出激活值的偏导数的形式重新表示上面的偏导数：

δ_j^L = ∑_k(∂C/∂a_k^L)(∂a_k^L/∂z_j^L)

这里求和是在输出层的所有神经元k上运行的，当然，第k^th个神经元的输出激活值a_k^L只依赖于当k=j时第j^th个神经元的带权输入z_j^L。所以当k≠j

时，∂a_k^L/∂z_j^L=0。结果简化为：

δ_j^L = (∂C/∂a_j^L)(∂a_j^L/∂z_j^L)

由于a_j^L=σ(z_j^L)，右边第二项可以写成σ'(z_j^L)，方程变成

δ_j^L = (∂C/∂a_j^L)σ‘(z_j^L)

2.证明BP2，它给出了下一层误差δ^l+1的形式表示误差δ^l。为此我们要以δ_k^l+1=∂C/∂z_k^l+1的形式重写 δ_j^l = ∂C/∂z_j^l

δ_j^l = ∂C/∂z_j^l

=∑_k(∂C/∂z_k^l+1)(∂z_k^l+1/∂z_j^l)

=∑_k(∂z_k^l+1/∂z_j^l)δ_k^l+1

这里最后一行我们交换了右边的两项，并用δ_k^l+1的定义带入。为此我们对最后一行的第一项求值，

注意：

z_k^l+1 = ∑_jω_kj^l+1a_j^l + b_k^l+1 = ∑_jω_kj^l+1σ(z_j^l) + b_k^l+1

做微分得到

∂z_k^l+1 /∂z_j^l = ω_kj^l+1σ'(z_j^l)

带入上式:

δ_j^l = ∑_kω_kj^l+1δ_k^l+1σ'(z_j^l)

3.证明BP3。计算输出层∂C/∂ω_jk^L：

∂C/∂ω_jkL = ∑_m (∂C/∂a_m^L)(∂a_m^L/∂ω_jk^L )

这里求和是在输出层的所有神经元k上运行的，当然，第k^th个神经元的输出激活值a_m^L只依赖于当m=j时第j^th个神经元的输入权重ω_jk^L。所以当k≠j

　时，∂a_m^L/∂ω_jk^L=0。结果简化为：

　　 ∂C/∂ω_jk^L = (∂C/∂a_j^L)(∂a_j^L/∂z_j^L)*(∂z_j^L/∂ω_jk^L)

= δ_j^La_k^L-1

计算输入层上一层(L-1):

∂C/∂ω_jk^L-1= (∑_m(∂C/∂a_m^L)(∂a_m^L/∂z_m^L)(∂z_m^L/∂a_j^L-1))(/∂a_j^L-1/∂z_j^L-1)(∂z_j^L-1/∂ω_jk^L-1)

= (∑_mδ_m^Lω_mj^L)σ'(z_j^L-1)a_k^L-2

= δ_j^L-1a_k^L-2

对于处输入层的任何一层(l)：

∂C/∂ω_jk^l= (∂C/∂z_j^l )(∂z_j^l/∂ω_jk^l) = δ_j^la_k^l-1

亲爱的读者和支持者们，自动博客加入了打赏功能，陆陆续续收到了各位老铁的打赏。在此，我想由衷地感谢每一位对我们博客的支持和打赏。你们的慷慨与支持，是我们前行的动力与源泉。