BPTT算法推导

随时间反向传播 （BackPropagation Through Time，BPTT）

符号注解：

• \(K\):词汇表的大小
• \(T\):句子的长度
• \(H\):隐藏层单元数
• \(E_t\):第t个时刻（第t个word）的损失函数,定义为交叉熵误差\(E_t=-y_t^Tlog(\hat{y}_t)\)
• \(E\):一个句子的损失函数，由各个时刻（即每个word）的损失函数组成,\(E=\sum\limits_t^T E_t\)。
  注： 由于我们要推倒的是SGD算法， 更新梯度是相对于一个训练样例而言的， 因此我们一次只考虑一个句子的误差，而不是整个训练集的误差（对应BGD算法）
• \(x_t\in\mathbb{R}^{K\times 1}\):第t个时刻RNN的输入，为one-hot vector，1表示一个单词的出现，0表示不出现
• \(s_t\in\mathbb{R}^{H\times 1}\):第t个时刻RNN隐藏层的输入
• \(h_t\in\mathbb{R}^{H\times 1}\):第t个时刻RNN隐藏层的输出
• \(z_t\in\mathbb{R}^{K\times 1}\):输出层的汇集输入
• \(\hat{y}_t\in\mathbb{R}^{K\times 1}\):输出层的输出，激活函数为softmax
• \(y_t\in\mathbb{R}^{K\times 1}\):第t个时刻的监督信息，为一个one-hot vector
• \(r_t=\hat{y}_t-y_t\)：残差向量
• \(W\in\mathbb{R}^{H\times K}\):从输入层到隐藏层的权值
• \(U\in\mathbb{R}^{H\times H}\):隐藏层上一个时刻到当前时刻的权值
• \(V\in\mathbb{R}^{K\times H}\):隐藏层到输出层的权值

他们之间的关系：

\[\left\{\begin{aligned}&s_t=Uh_{t-1}+Wx_t\\&h_t=\sigma(s_t)\\&z_t=Vh_t\\& \hat{y}_t=\mathrm{softmax}(z_t) \end{aligned}\right. \]

其中，\(\sigma(\cdot)\)是sigmoid函数。由于\(x_t\)是one-hot向量，假设第\(j\)个词出现，则\(Wx_t\)相当于把\(W\)的第\(j\)列选出来，因此这一步是不用进行任何矩阵运算的，直接做下标操作即可，在matlab里就是\(W(:,x_t)\)。

BPTT与BP类似，是在时间上反传的梯度下降算法。RNN中，我们的目的是求得\(\frac{\partial E}{\partial U},\frac{\partial E}{\partial W},\frac{\partial E}{\partial V}\)，根据这三个变化率来优化三个参数\(U,V,W\)
注意到\(\frac{\partial E}{\partial U}=\sum\limits_t \frac{\partial E_t}{\partial U}\)，因此我们只要对每个时刻的损失函数求偏导数再加起来即可。
1.计算\(\frac{\partial E_t}{\partial V}\)

\[\begin{aligned}\frac{\partial E_t}{\partial V_{ij}}&=tr\bigg( \big( \frac{\partial E_t}{\partial z_t}\big)^T\cdot \frac{\partial z_t}{\partial V_{ij}}\bigg)\\&=tr\bigg((\hat{y}_t-y_t)^T\cdot\begin{bmatrix}0\\ \vdots \\ \frac{\partial z_{t}^{(i)}}{\partial V_{ij}}\\\vdots\\0\end{bmatrix}\bigg)\\&=r_t^{(i)} h_t^{(j)}\end{aligned} \]

注：推导中用到了之前推导用到的结论。其中\(r_t^{(i)}=(\hat{y}_t-y_t)^{(i)}\)表示残差向量第i个分量，\(h_t^{(j)}\)表示\(h_t\)的第j个分量。
上述结果可以改写为：

\[\frac{\partial E_t}{\partial V}=(\hat{y}_t-y_t)\otimes h_t \]

\[\frac{\partial E}{\partial V} = \sum_{k=0}^t (\hat{y}_k-y_k)\otimes h_k \]

其中\(\otimes\)表示向量外积。
2.计算\(\frac{\partial E_t}{\partial U}\)
由于U是各个时刻共享的，所以t之前每个时刻U的变化都对\(E_t\)有贡献，反过来求偏导时，也要考虑之前每个时刻U对E的影响。我们以\(s_k\)为中间变量，应用链式法则：

\[\frac{\partial E_t}{\partial U} = \sum_{k=0}^t \frac{\partial s_k}{\partial U} \frac{\partial E_t}{\partial s_k} \]

但由于\(\frac{\partial s_k}{\partial U}\)（分子向量，分母矩阵）以目前的数学发展水平是没办法求的，因此我们要求这个偏导，可以拆解为\(E_t\)对\(U_{ij}\)的偏导数：

\[\frac{\partial E_t}{\partial U_{ij}} = \sum_{k=0}^t tr[(\frac{\partial E_t}{\partial s_k})^T \frac{\partial s_k}{\partial U_{ij}}]= \sum_{k=0}^t tr[(\delta_k)^T\frac{\partial s_k}{\partial U_{ij}}] \]

其中，\(\delta_k=\frac{\partial E_t}{\partial s_k}\)，遵循

\[s_k\to h_k\to s_{k+1}\to ...\to E_t \]

的传递关系，应用链式法则有：

\[\delta_k=\frac{\partial h_k}{\partial s_k}\frac{\partial s_{k+1}}{\partial h_k} \frac{\partial E_t}{\partial s_{k+1}}=diag(1-h_k\odot h_k)U^T\delta_{k+1}=(U^T\delta_{k+1})\odot (1-h_k\odot h_k) \]

其中，\(\odot\)表示向量点乘。于是，我们得到了关于\(\delta\) 的递推关系式。由\(\delta_t\)出发，我们可以往前推出每一个\(\delta\)，现在计算\(\delta_t\)：
\begin{equation}\delta_t=\frac{\partial E_t}{\partial s_t}=\frac{\partial h_t}{\partial s_t}\frac{\partial z_t}{\partial h_t}\frac{\partial E_t}{\partial z_t}=diag(1-h_t\odot h_t)\cdot V^{T\cdot(\hat{y}_t-y_t)=(V}T(\hat{y}t-y_t))\odot (1-h_t\odot h_t)\end{equation}
将\(\delta_0,...,\delta_t\)代入$ \frac{\partial E_t}{\partial U{ij}} $有：

\[\frac{\partial E_t}{\partial U_{ij}} = \sum_{k=0}^t \delta_k^{(i)} h_{k-1}^{(j)} \]

将上式写成矩阵形式：

\[\frac{\partial E_t}{\partial U} = \sum_{k=0}^t \delta_k \otimes h_{k-1} \]

不失严谨性，定义\(h_{-1}\)为全0的向量。

3.计算\(\frac{\partial E_t}{\partial W}\)
按照上述思路，我们可以得到

\[\frac{\partial E_t}{\partial W} = \sum_{k=0}^t \delta_k \otimes x_{k} \]

由于\(x_k\)是个one-hot vector，假设其第\(m\)个位置为1，那么我们在更新\(W\)时只需要更新\(W\)的第\(m\)列即可，计算\(\frac{\partial{E_t}}{\partial{W}}\)的伪代码如下：

delta_t = V.T.dot(residual[T]) * (1-h[T]**2)
for t from T to 0
    dEdW[ :,x[t] ] += delta_t
    #delta_t = W.T.dot(delta_t) * (1 - h[t-1]**2)
    delta_t = U.T.dot(delta_t) * (1 - h[t-1]**2)