反向传播算法的数学推导

这是一篇纯数学推导的文章，会写是因为笔者对数学的东西相对比较较真，在学习机器学习的时候看了很多反向传播算法的文章，但是感觉网络上的大部分文章更加注重于阐述反向传播的直观理解，或者以层数很少的网络举一些例子，对于一般化的多层全连接网络没有给出数学上的推导，也就是并不明确计算机具体是如何执行反向传播的。本文会在一般化的多层全连接网络上给出反向传播算法的完整形式。

这篇文章是在看到Surrogate Gradient Learning in Spiking Neural Networks这篇文章时想到的。如果你对反向传播还没有基础的直觉和一点点数学上的理解，我很推荐去看看3Blue1Brown的视频。

符号假设#

$W_{ij}^{(l)}$：第 $l$ 层从神经元 $j$ 到神经元 $i$ 的连接权重。

$a_i^{(l)}$：第 $l$ 层的神经元 $i$ 接受的输入，即

$$a_i^{(l)}=\sum _k{W}_{ik}^{(l)}{y}_k^{(l-1)}$$

$y_i^{(l)}$：第 $l$ 层的神经元 $i$ 的输出，即$y_i^{(l)}=\sigma (x_i^{(l)})$，$\sigma$为激活函数。

$\mathcal{L}$：损失函数。

$n^{(l)}$：第 $l$ 层神经元的个数。

推导过程#

首先，反向传播是一个算梯度的算法。之所以要算梯度，是因为神经网络的权重采用梯度下降的方式优化，即

$$W_{ij}^{(l)}\leftarrow W_{ij}^{(l)}-\eta \cdot \frac{\partial \mathcal{L}}{\partial W_{ij}^{(l)}}$$

这就要求我们能够算出损失函数对所有权重的梯度。也就是说，反向传播的最终任务是算出$\frac{\partial \mathcal{L}}{\partial W_{ij}^{(l)}}$ .

首先进行链式法则。链式法则的逻辑是，想想$W_{ij}^{(l)}$是怎么影响到损失函数的呢？$W_{ij}^{(l)}$的变化首先引起$a_i^{(l)}$的变化，然后引起$y_i^{(l)}$的变化，$y_i^{(l)}$的变化会进一步引起输出值的变化，从而引起$\mathcal{L}$的变化。我们就只展开这么三层，得到

$$\frac{\partial \mathcal{L}}{\partial W_{ij}^{(l)}}=\frac{\partial a_i^{(l)}}{\partial W_{ij}^{(l)}}\frac{\partial y_i^{(l)}}{\partial a_i^{(l)}}\frac{\partial \mathcal{L}}{\partial y_i^{(l)}}$$

暂时不管最后一项。前面两项根据定义就可以算出来，他们分别是

$$\begin{gathered} \frac{\partial a_i^{(l)}}{\partial W_{ij}^{(l)}}=y_j^{(l-1)} \\ \frac{\partial y_i^{(l)}}{\partial a_i^{(l)}}={\sigma }^{\prime }(a_i^{(l)}) \end{gathered}$$

${\sigma }^{\prime }$是激活函数的导数。

接下来我们处理最后一项。这东西还是一个复杂的导数，没法直接求。那么如果我们知道$\frac{\partial \mathcal{L}}{\partial y_i^{(l+1)}}$，是不是可以推出$\frac{\partial \mathcal{L}}{\partial y_i^{(l)}}$呢？在网络的最后一层，这一项就是损失函数的导数，我们是知道的。通过逐层往前推，我们就可以得到任意层的$\frac{\partial \mathcal{L}}{\partial y_i^{(l)}}$。

我们试着来做这件事情。对$\frac{\partial \mathcal{L}}{\partial y_i^{(l)}}$继续进行链式法则。$y_i^{(l)}$的变化通过第 $l+1$ 层的权重影响到下一层所有的$a_k^{(l+1)},k=1,2,...,n^{(l+1)}$。$a_k^{(l+1)}$会进一步影响到$y_k^{(l+1)}$，显然我们展开到这一步就够了，因为下一层的$y_k^{(l+1)}$已经出现了。这里链式法则出现了多条路径，根据链式法则，应该对所有路径求和。我们把这两步展开写出来，得到

$$\frac{\partial \mathcal{L}}{\partial y_i^{(l)}}=\sum _{k=1}^{n^{(l+1)}}\frac{\partial a_k^{(l+1)}}{\partial y_i^{(l)}}\frac{\partial y_k^{(l+1)}}{\partial a_k^{(l+1)}}\frac{\partial \mathcal{L}}{\partial y_k^{(l+1)}}$$

前两项仍然是容易求的。他们分别是

$$\begin{gathered} \frac{\partial a_k^{(l+1)}}{\partial y_i^{(l)}}=W_{ki}^{(l)}=W_{ik}^{T,(l)} \\ \frac{\partial y_k^{(l+1)}}{\partial a_k^{(l+1)}}={\sigma }^{\prime }(a_k^{(l+1)}) \end{gathered}$$

前面一条会写成转置的形式单纯是因为论文里面是这么写，虽然我觉得没啥意思（）

至此，我们已经得到了反向传播算法的完整公式。它的形式是

$$\begin{gathered} \frac{\partial \mathcal{L}}{\partial W_{ij}^{(l)}}=y_j^{(l-1)}{\sigma }^{\prime }(a_i^{(l)})\frac{\partial \mathcal{L}}{\partial y_i^{(l)}}, \\ \frac{\partial \mathcal{L}}{\partial y_i^{(l)}}=\sum _{k=1}^{n^{(l+1)}}{W}_{ki}^{(l)}{\sigma }^{\prime }(a_k^{(l+1)})\frac{\partial \mathcal{L}}{\partial y_k^{(l+1)}} \end{gathered}$$

这看着还不是很明显。我们可以记

$${\delta }_i^{(l)}={\sigma }^{\prime }(a_i^{(l)})\frac{\partial \mathcal{L}}{\partial y_i^{(l)}}$$

反向传播公式就变成

$$\begin{gathered} \frac{\partial \mathcal{L}}{\partial W_{ij}^{(l)}}=y_j^{(l-1)}{\delta }_i^{(l)}, \\ {\delta }_i^{(l)}={\sigma }^{\prime }(a_i^{(l)})\sum _{k=1}^{n^{(l+1)}}{W}_{ki}^{(l)}{\delta }_k^{(l+1)} \end{gathered}$$

“反向传播”的特征就体现在${\delta }_i^{(l)}$上。这一项是从后向前递推的。