神经网络前向和后向传播推导（二）：全连接层

大家好~本文推导全连接层的前向传播、后向传播、更新权重和偏移的数学公式，其中包括两种全连接层：作为输出层的全连接层、作为隐藏层的全连接层。

神经网络前向和后向传播推导（一）：前向传播和梯度下降
 神经网络前向和后向传播推导（二）：全连接层

构建神经网络
推导前向传播
推导后向传播
推导权重和偏移更新
总结
参考资料

构建神经网络

我们构建一个三层神经网络，由一层输入层+两层全连接层组成：

输入层有三个节点，我们将其依次编号为1、2、3；隐藏层的两个节点，编号依次为4、5；输出层的两个节点编号为6、7。因为我们这个神经网络是全连接网络，所以可以看到每个节点都和上一层的所有节点有连接。比如，我们可以看到隐藏层的节点4，它和输入层的三个节点1、2、3之间都有连接，其连接上的权重分别为 $w_{41}, w_{42}, w_{43}$
（注意：权重的序号的命名规则是下一层的序号在上一层的序号之前，如为 $w_{41}$ 而不是 $w_{14}$ ）

推导前向传播

节点4的输出值 $y_4$ 的计算公式为：

y_{4} = f ({\vec{w_{4}}}^{T} \cdot \vec{x})

$y_4=f(\vec{w_4}^T\cdot\vec{x})$

其中：

\vec{w_{4}} = [w_{41}, w_{42}, w_{43}, w_{b_{4}}]

$\vec{w_4} = [w_{41}, w_{42}, w_{43}, w_{b_4}]$

\vec{x} = [\begin{matrix} x_{1} \\ x_{2} \\ x_{3} \\ 1 \end{matrix}]

$\vec{x} = \begin{bmatrix} x_1\\ x_2\\ x_3\\ 1 \\ \end{bmatrix}$

f 为 激 活 函 数

$f为激活函数$

推导隐藏层的前向传播
我们把隐藏层的权重向量组合在一起成为矩阵，就推导出隐藏层的前向传播计算公式了：

\vec{y_{隐 藏 层}} = f (W_{隐 藏 层} \cdot \vec{x})

$\overrightarrow{y_{隐藏层}}=f(W_{隐藏层}\cdot\vec{x})$

其中：

W_{隐 藏 层} = [\begin{matrix} \vec{w_{4}} \\ \vec{w_{5}} \end{matrix}] = [\begin{matrix} w_{41}, w_{42}, w_{43}, w_{b_{4}} \\ w_{51}, w_{52}, w_{53}, w_{b_{5}} \end{matrix}]

$W_{隐藏层} = \begin{bmatrix} \vec{w_4} \\ \vec{w_5} \\ \end{bmatrix} =\begin{bmatrix} w_{41}, w_{42}, w_{43}, w_{b_4} \\ w_{51}, w_{52}, w_{53}, w_{b_5} \\ \end{bmatrix}$

\vec{x} = [\begin{matrix} x_{1} \\ x_{2} \\ x_{3} \\ 1 \end{matrix}]

$\vec{x} = \begin{bmatrix} x_1\\ x_2\\ x_3\\ 1 \\ \end{bmatrix}$

\vec{y_{隐 藏 层}} = [\begin{matrix} y_{4} \\ y_{5} \end{matrix}]

$\overrightarrow{y_{隐藏层}}=\begin{bmatrix} y_4 \\ y_5 \\ \end{bmatrix}$

推导输出层的前向传播
同理，可推出输出层的前向传播计算公式：

\vec{y_{输 出 层}} = f (W_{输 出 层} \cdot \vec{y_{隐 藏 层}})

$\overrightarrow{y_{输出层}}=f(W_{输出层}\cdot\overrightarrow{y_{隐藏层}})$

其中：

W_{输 出 层} = [\begin{matrix} \vec{w_{6}} \\ \vec{w_{7}} \end{matrix}] = [\begin{matrix} w_{64}, w_{65}, w_{b_{6}} \\ w_{74}, w_{75}, w_{b_{7}} \end{matrix}]

$W_{输出层} = \begin{bmatrix} \vec{w_6} \\ \vec{w_7} \\ \end{bmatrix} =\begin{bmatrix} w_{64}, w_{65}, w_{b_6} \\ w_{74}, w_{75}, w_{b_7} \\ \end{bmatrix}$

\vec{y_{隐 藏 层}} = [\begin{matrix} y_{4} \\ y_{5} \\ 1 \end{matrix}]

$\overrightarrow{y_{隐藏层}} = \begin{bmatrix} y_4 \\ y_5 \\ 1 \\ \end{bmatrix}$

\vec{y_{输 出 层}} = [\begin{matrix} y_{6} \\ y_{7} \end{matrix}]

$\overrightarrow{y_{输出层}}=\begin{bmatrix} y_6 \\ y_7 \\ \end{bmatrix}$

推导后向传播

我们先来看下输出层的梯度下降算法公式：

w_{k j} = w_{k j} - η \frac{d E}{d w_{k j}}

$w_{kj}=w_{kj}-\eta\frac{dE}{dw_{kj}}$

其中： $k$ 是输出层的节点序号， $j$ 是隐藏层的节点序号， $w_{kj}$ 是输出层的权重矩阵 $W_{输出层}$ 的权重值， $\frac{dE}{dw_{kj}}$ 是节点k的梯度

设 $net_k$ 函数是节点k的加权输入：

n e t_{k} = {\vec{w_{k}}}^{T} \cdot \vec{y_{隐 藏 层}} = \sum_{j} w_{k j} y_{j}

$net_k=\overrightarrow{w_k}^T\cdot\overrightarrow{y_{隐藏层}} = \sum_{j} w_{kj}y_j$

因为 $E$ 是 $\overrightarrow{y_{输出层}}$ 的函数， $\overrightarrow{y_{输出层}}$ 是 $net_k$ 的函数， $net_k$ 是 $w_{kj}$ 的函数，所以根据链式求导法则，可以得到：

\begin{aligned} \frac{d E}{d w_{k j}} & = \frac{d E}{d n e t_{k}} \frac{d n e t_{k}}{d w_{k j}} \\ = \frac{d E}{d n e t_{k}} \frac{d \sum_{j} w_{k j} y_{j}}{d w_{k j}} \\ = \frac{d E}{d n e t_{k}} y_{j} \end{aligned}

$\begin{aligned} \frac{dE}{dw_{kj}} & = \frac{dE}{dnet_k}\frac{dnet_k}{dw_{kj}} \\ & = \frac{dE}{dnet_k}\frac{d\sum_{j} w_{kj}y_{j}}{dw_{kj}} \\ & = \frac{dE}{dnet_k}y_{j} \\ \end{aligned}$

定义节点k的误差项 $\delta_k$ 为：

δ_{k} = \frac{d E}{d n e t_{k}}

$\delta_k = \frac{dE}{dnet_k}$

因为 $y_{j}$ 已知，所以只要求出 $\delta_k$ ，就能计算出节点k的梯度

同理，对于隐藏层，可以得到下面的公式：

w_{j i} = w_{j i} - η \frac{d E}{d w_{j i}} \frac{d E}{d w_{j i}} = \frac{d E}{d n e t_{j}} x_{i} δ_{j} = \frac{d E}{d n e t_{j}}

$w_{ji}=w_{ji}-\eta\frac{dE}{dw_{ji}} \\ \frac{dE}{dw_{ji}} = \frac{dE}{dnet_j}x_{i} \\ \delta_j = \frac{dE}{dnet_j}$

其中： $j$ 是隐藏层的节点序号， $i$ 是输入层的节点序号， $w_{ji}$ 是隐藏层的权重矩阵 $W_{隐藏层}$ 的权重值， $\frac{dE}{dw_{ji}}$ 是节点j的梯度

因为 $x_{i}$ 已知，所以只要求出 $\delta_j$ ，就能计算出节点j的梯度

推导输出层的 $\delta_k$

因为~~节点k的输出值 $y_k$ 作为 $\overrightarrow{y_{输出层}}$ 的一个值，并没有影响 $\overrightarrow{y_{输出层}}$ 的其它值，所以节点k直接影响了 $E$ 。也就说~~
因为 $E$ 是 $y_k$ 的函数， $y_k$ 是 $net_k$ 的函数，所以根据链式求导法则，可以得到：

δ_{k} = \frac{d E}{d n e t_{k}} = \frac{d E}{d y_{k}} \frac{d y_{k}}{d n e t_{k}}

$\delta_k=\frac{dE}{dnet_k} = \frac{dE}{dy_k}\frac{dy_k}{dnet_k}$

上式的第一项等于：

\frac{d E}{d y_{k}} = \frac{d E (\vec{y_{输 出 层}})}{d y_{k}}

$\frac{dE}{dy_k} = \frac{dE(\overrightarrow{y_{输出层}})}{dy_k}$

上式的第二项即为求激活函数 $f$ 的导数：

\frac{d y_{k}}{d n e t_{k}} = \frac{d f (n e t_{k})}{d n e t_{k}}

$\frac{dy_k}{dnet_k} = \frac{df(net_k)}{dnet_k}$

将第一项和第二项带入 $\frac{dE}{dnet_k}$ ，得到：

δ_{k} = \frac{d E (\vec{y_{输 出 层}})}{d y_{k}} \frac{d f (n e t_{k})}{d n e t_{k}}

$\delta_k = \frac{dE(\overrightarrow{y_{输出层}})}{dy_k}\frac{df(net_k)}{dnet_k}$

只要确定了 $E$ 和激活函数 $f$ ，就可以求出 $\delta_k$
一般来说， $E$ 可以为 $softmax$ ， $f$ 可以为 $relu$

推导隐藏层的 $\delta_j$

因为节点j的输出值 $y_j$ 作为输出层所有节点的一个输入值，影响了 $\overrightarrow{y_{输出层}}$ 的每个值，所以节点j通过输出层所有节点影响了 $E$ 。也就说 $E$ 是输出层所有节点的 $net$ 的函数，每个 $net$ 函数 $net_k$ 都是 $net_j$ 的函数，所以根据全导数公式，可以得到：

\begin{aligned} δ_{j} = \frac{d E}{d n e t_{j}} & = \sum_{k \in 输 出 层} \frac{d E}{d n e t_{k}} \frac{d n e t_{k}}{d n e t_{j}} \\ = \sum_{k \in 输 出 层} δ_{k} \frac{d n e t_{k}}{d n e t_{j}} \end{aligned}

$\begin{aligned} \delta_j =\frac{dE}{dnet_j} & = \sum_{k\in{输出层}} \quad\frac{dE}{dnet_k}\frac{dnet_k}{dnet_j} \\ & = \sum_{k\in{输出层}} \quad\delta_k\frac{dnet_k}{dnet_j} \end{aligned}$

因为 $net_k$ 是 $y_{j}$ 的函数， $y_{j}$ 是 $net_j$ 的函数，所以根据链式求导法则，可以得到：

\begin{aligned} \frac{d n e t_{k}}{d n e t_{j}} & = \frac{d n e t_{k}}{d y_{j}} \frac{d y_{j}}{d n e t_{j}} \\ = \frac{d \sum_{j} w_{k j} y_{j}}{d y_{j}} \frac{d y_{j}}{d n e t_{j}} \\ = w_{k j} \frac{d y_{j}}{d n e t_{j}} \\ = w_{k j} \frac{d f (n e t_{j})}{d n e t_{j}} \end{aligned}

$\begin{aligned} \frac{dnet_k}{dnet_j} & = \frac{dnet_k}{dy_{j}}\frac{dy_{j}}{dnet_j} \\ & = \frac{d\sum_{j} w_{kj}y_{j}}{dy_{j}}\frac{dy_{j}}{dnet_j} \\ & = w_{kj}\frac{dy_{j}}{dnet_j} \\ & = w_{kj}\frac{df(net_j)}{dnet_j} \\ \end{aligned}$

代入，得：