反向传播算法的数学推导

这是一篇纯数学推导的文章，会写是因为笔者对数学的东西相对比较较真，在学习机器学习的时候看了很多反向传播算法的文章，但是感觉网络上的大部分文章更加注重于阐述反向传播的直观理解，或者以层数很少的网络举一些例子，对于一般化的多层全连接网络没有给出数学上的推导，也就是并不明确计算机具体是如何执行反向传播的。本文会在一般化的多层全连接网络上给出反向传播算法的完整形式。

这篇文章是在看到Surrogate Gradient Learning in Spiking Neural Networks这篇文章时想到的。如果你对反向传播还没有基础的直觉和一点点数学上的理解，我很推荐去看看3Blue1Brown的视频。

符号假设

\(W_{ij}^{(l)}\)：第 \(l\) 层从神经元 \(j\) 到神经元 \(i\) 的连接权重。

\(a_i^{(l)}\)：第 \(l\) 层的神经元 \(i\) 接受的输入，即

\[a_i^{(l)}=\sum_k W_{ik}^{(l)}y_{k}^{(l-1)} \]

\(y_i^{(l)}\)：第 \(l\) 层的神经元 \(i\) 的输出，即\(y_i^{(l)}=\sigma(x_i^{(l)})\)，\(\sigma\)为激活函数。

\(\mathcal{L}\)：损失函数。

\(n^{(l)}\)：第 \(l\) 层神经元的个数。

推导过程

首先，反向传播是一个算梯度的算法。之所以要算梯度，是因为神经网络的权重采用梯度下降的方式优化，即

\[W_{ij}^{(l)}\leftarrow W_{ij}^{(l)}-\eta\cdot \frac{\partial \mathcal{L}}{\partial W_{ij}^{(l)}} \]

这就要求我们能够算出损失函数对所有权重的梯度。也就是说，反向传播的最终任务是算出\(\frac{\partial \mathcal{L}}{\partial W_{ij}^{(l)}}\) .

首先进行链式法则。链式法则的逻辑是，想想\(W_{ij}^{(l)}\)是怎么影响到损失函数的呢？\(W_{ij}^{(l)}\)的变化首先引起\(a_i^{(l)}\)的变化，然后引起\(y_i^{(l)}\)的变化，\(y_i^{(l)}\)的变化会进一步引起输出值的变化，从而引起\(\mathcal{L}\)的变化。我们就只展开这么三层，得到

\[\frac{\partial \mathcal{L}}{\partial W_{ij}^{(l)}}=\frac{\partial a_i^{(l)}}{\partial W_{ij}^{(l)}}\frac{\partial y_i^{(l)}}{\partial a_i^{(l)}}\frac{\partial \mathcal{L}}{\partial y_i^{(l)}} \]

暂时不管最后一项。前面两项根据定义就可以算出来，他们分别是

\[\frac{\partial a_i^{(l)}}{\partial W_{ij}^{(l)}}=y_j^{(l-1)}\\ \frac{\partial y_i^{(l)}}{\partial a_i^{(l)}}=\sigma'(a_i^{(l)}) \]

\(\sigma'\)是激活函数的导数。

接下来我们处理最后一项。这东西还是一个复杂的导数，没法直接求。那么如果我们知道\(\frac{\partial \mathcal{L}}{\partial y_i^{(l+1)}}\)，是不是可以推出\(\frac{\partial \mathcal{L}}{\partial y_i^{(l)}}\)呢？在网络的最后一层，这一项就是损失函数的导数，我们是知道的。通过逐层往前推，我们就可以得到任意层的\(\frac{\partial \mathcal{L}}{\partial y_i^{(l)}}\)。

我们试着来做这件事情。对\(\frac{\partial \mathcal{L}}{\partial y_i^{(l)}}\)继续进行链式法则。\(y_i^{(l)}\)的变化通过第 \(l+1\) 层的权重影响到下一层所有的\(a_k^{(l+1)},k=1,2,...,n^{(l+1)}\)。\(a_k^{(l+1)}\)会进一步影响到\(y_k^{(l+1)}\)，显然我们展开到这一步就够了，因为下一层的\(y_k^{(l+1)}\)已经出现了。这里链式法则出现了多条路径，根据链式法则，应该对所有路径求和。我们把这两步展开写出来，得到

\[\frac{\partial \mathcal{L}}{\partial y_i^{(l)}}=\sum_{k=1}^{n^{(l+1)}}\frac{\partial a_k^{(l+1)}}{\partial y_i^{(l)}}\frac{\partial y_k^{(l+1)}}{\partial a_k^{(l+1)}}\frac{\partial \mathcal{L}}{\partial y_k^{(l+1)}} \]

前两项仍然是容易求的。他们分别是

\[\frac{\partial a_k^{(l+1)}}{\partial y_i^{(l)}}=W_{ki}^{(l)}=W_{ik}^{T,(l)}\\ \frac{\partial y_k^{(l+1)}}{\partial a_k^{(l+1)}}=\sigma'(a_k^{(l+1)}) \]

前面一条会写成转置的形式单纯是因为论文里面是这么写，虽然我觉得没啥意思（）

至此，我们已经得到了反向传播算法的完整公式。它的形式是

\[\frac{\partial \mathcal{L}}{\partial W_{ij}^{(l)}}=y_j^{(l-1)}\sigma'(a_i^{(l)})\frac{\partial \mathcal{L}}{\partial y_i^{(l)}},\\ \frac{\partial \mathcal{L}}{\partial y_i^{(l)}}=\sum_{k=1}^{n^{(l+1)}}W_{ki}^{(l)}\sigma'(a_k^{(l+1)})\frac{\partial \mathcal{L}}{\partial y_k^{(l+1)}} \]

这看着还不是很明显。我们可以记

\[\delta_i^{(l)}=\sigma'(a_i^{(l)})\frac{\partial \mathcal{L}}{\partial y_i^{(l)}} \]

反向传播公式就变成

\[\frac{\partial \mathcal{L}}{\partial W_{ij}^{(l)}}=y_j^{(l-1)}\delta_i^{(l)},\\ \delta_i^{(l)}=\sigma'(a_i^{(l)})\sum_{k=1}^{n^{(l+1)}}W_{ki}^{(l)}\delta_{k}^{(l+1)} \]

“反向传播”的特征就体现在\(\delta_i^{(l)}\)上。这一项是从后向前递推的。