BPTT详解
一、基本概念
RNN前向传播图
对应的前向传播公式和每个时刻的输出公式
$S_{t}=tanh(UX_t+WS_{t-1}) \qquad \qquad {y_t}'=softmax(VS_t)$
使用交叉熵为损失函数，对应的每个时刻的损失和总的损失。通常将一整个序列（一个句子）作为一个训练实例，所以总的误差就是各个时刻（词）的误差之和。
$ L_t=-y_tlog{y_t}' =-\sum_i y_{t,i}log(y_{t,i}')$
$ L=\sum_t L_t=-\sum_ty_tlog({y_t}') $
将各公式整理如下：
$
\left{\begin{matrix}
S_{t}=tanh(UX_{t}+WS_{t-1})\\
z_t=VS_t\\
{y_t}'=softmax(z_t)\\
L_t=-y_t log{y_t}'=-\sum_i y_{t,i}log(y_{t,i}') \\
L=\sum_t L_t
\end{matrix}\right.
$
对各个符号的解释
| 符号 | 解释 |
| K | 词汇表的大小 |
| T | 句子长度 |
| H | 隐藏层大小 |
| $z_t$ | 长度为K的vector |
| ${y_t}$ | 长度为K的vector,表示真实的标签，一般是one-vector |
| $y_{t,i}$ | 对应的第i个词的标签值 |
| ${y_t}'$ | 长度为K的vector,表示预测的向量 |
| $y_{t,i}'$ | 表示生成的词在是词表的第i个词的概率 |
| $L_t$ | 当前时刻的损失 |
| $L$ | 一个句子的损失，由各个时刻的损失求和得到，$L=\sum_t L_t$ |
| $V\in \mathbb{R}^{K \times H}$ | 隐藏层到输出层的权重 |
| $W\in \mathbb{R}^{H \times K}$ | 上一个隐藏层状态到当前层的输入的权重 |
| $U\in \mathbb{R}^{H \times H}$ | 输入的权重 |
二、具体梯度求导
1.对V的导数
$ \frac{\partial L}{\partial V}=\sum_t \frac{\partial L_t}{\partial V}$
$L_t=-y_t log{y_t}'=-\sum_i y_{t,i}log(y_{t,i}')$
$y_{t,i}'=\frac{e^{z_{t,i}}}{\sum_k e^{z_{t,k}}}$
由链式求导法则
$\frac{\partial L_t}{\partial V}=\frac{\partial L_t}{\partial z_t } \frac{\partial {z_t}}{\partial V } \qquad \qquad \frac{\partial L_t}{\partial z_t }=\frac{\partial L_t}{\partial {y_t}' } \frac{\partial {y_t}' }{\partial z_t } $
其中$\frac{\partial L_t}{\partial {y_t}'} $和$\frac{\partial {z_t}}{\partial V }$的值如下
$\frac{\partial L_t}{\partial {y_t}'} =-\sum_{t,i}\frac{ y_{t,i}}{y_{t,i}'}' $
$\frac{\partial {z_t}}{\partial V }=S_t$
$z_t$是一个向量，如果生成的词是第i个词，那么i对应的位置的交叉熵和其他位置的交叉熵是不同的。
1)如果 $i = j$:第i位置的交叉熵
$\frac{\partial y_{t,i}'}{\partial z_{t,i}}=\frac{e^{z_{t,i}} \sum_k e^{z_{t,k}} - e^{z_{t,i}} e^{z_{t,i}}} {({\sum_k e^{z_{t,k}}})^2}=\frac{e^{z_{t,i}}}{\sum_k e^{z_{t,k}}}(1-\frac{e^{z_{t,i}}}{\sum_k e^{z_{t,k}}})=y_{t,i}'(1-y_{t,i}')$
2)如果 $i \neq j$:其他位置的交叉熵
$\frac{\partial y_{t,j}'}{\partial z_{t,i}}=-\frac{e^{z_{t,j}} e^{z_{t,i}}} {({\sum_k e^{z_{t,k}}})^2}=-\frac{e^{z_{t,j}}} {\sum_k e^{z_{t,k}}}\frac{e^{z_{t,i}}} {\sum_k e^{z_{t,k}}}=-y_{t,j}' y_{t,i}'$
偏导数的值，将两者的交叉熵相加，求的整个的熵
$ \frac{\partial L_t}{\partial z_t}=(-\sum_{t,i}\frac{ y_{t,i}}{y_{t,i}'}) \frac{\partial y_{t,i}'}{\partial z_{t,i}} -\frac{ y_{t,i}}{y_{t,i}'}y_{t,i}'(1-y_{t,i}')+ \sum_{i,i \neq j} \frac{ y_{t,i}} {y_{t,j}'}y_{t,i}' y_{t,j}'$
$= -y_{t,i}+y_{t,i}y_{t,i}'+ \sum_{i,i \neq j} y_{t,i} y_{t,i}'=-y_{t,i}+y_{t,i}' \sum_i y_{t,i}= y_{t,i}'-y_{t,i} $
在t时刻对V的偏导
$\frac{\partial L_t}{\partial V}=\frac{\partial L_t}{\partial z_t } \frac{\partial {z_t}}{\partial V } =(y_{t,i}'-y_{t,i} )S_t$
最终的损失，把各个时刻的相加则可得到。整个循环一遍，会改变参数，并不是每个时刻更新。
$ \frac{\partial L}{\partial V}=\sum_t \frac{\partial L_t}{\partial V}$
2.对U的导数
对U的导数和对V的导数相似，
$ \frac{\partial L}{\partial U}=\sum_t \frac{\partial L_t}{\partial U}$
$\frac{\partial L_t}{\partial U}=\frac{\partial L_t}{\partial z_t } \frac{\partial {z_t}}{\partial S_t } \frac{\partial {S_t}}{\partial U} $
由V得到如下值：
$\frac{\partial L_t}{\partial z_t }=(y_{t,i}'-y_{t,i} )$
$\frac{\partial {z_t}}{\partial S_t }=V$
$\frac{\partial {S_t}}{\partial U} =tanh' X_t$
所以
$\frac{\partial L_t}{\partial U}=(y_{t,i}'-y_{t,i} )Vtanh' X_t$
3.对W的导数
对W的导数会有依赖项，故而需要求解依赖项。
$ \frac{\partial L}{\partial W}=\sum_t \frac{\partial L_t}{\partial W}$
$\frac{\partial L_t}{\partial W}=\frac{\partial L_t}{\partial z_t } \frac{\partial {z_t}}{\partial S_t } \frac{\partial {S_t}}{\partial W} $
由V得到如下值：
$\frac{\partial L_t}{\partial z_t }=(y_{t,i}'-y_{t,i} )$
$\frac{\partial {z_t}}{\partial S_t }=V$
$\frac{\partial {S_t}}{\partial W} =\frac{\partial {S_t}}{\partial W} +\frac{\partial {S_t}}{\partial S_{t-1}} \frac{\partial {S_{t-1}}}{\partial W}+\frac{\partial {S_t}}{\partial S_{t-1}} \frac{\partial {S_{t-1}}}{\partial S_{t-2}} \frac{\partial {S_{t-2}}}{\partial W}\cdot\cdot\cdot $
总结起来：
$\frac{\partial {S_t}}{\partial W}=\sum_k^T\prod_{t=k+1}^{T} \frac{\partial {S_t}}{\partial S_{t-1}}\frac{\partial {S_k}}{\partial S_W}$
$\frac{\partial L_t}{\partial W}=\frac{\partial L_t}{\partial z_t } \frac{\partial {z_t}}{\partial S_t } \frac{\partial {S_t}}{\partial W} =\frac{\partial L_t}{\partial z_t } \frac{\partial {z_t}}{\partial S_t } \sum_k^T\prod_{t=k+1}^{T} \frac{\partial {S_t}}{\partial S_{t-1}}\frac{\partial {S_k}}{\partial S_W}$
所以
$\frac{\partial L_t}{\partial U}=(y_{t,i}'-y_{t,i} )Vtanh' \sum_k^T\prod_{t=k+1}^{T} \frac{\partial {S_t}}{\partial S_{t-1}}\frac{\partial {S_k}}{\partial S_W}$
