RNN原理介绍
RNN原理
RNN在实际使用的频率并不多,大多使用LSTM替代RNN,因此对RNN进行简单的介绍。RNN是研究LSTM的基础,毕竟LSTM是基于RNN的改良,二者循环原理大体一致。
初识RNN,要记住在时间步上,RNN的权值共享即可。
RNN的运行原理就相当于,每一个时间步利用RNN计算一次得到输出结果,每个时间步上的RNN都是同一个东西。
![](https://s2.loli.net/2023/01/11/RBZCjiHSo5dFuw9.png)
RNN输入到输出
RNN有两个输入,其中一个输入是RNN运行时的状态,我们无法对其进行操作。
- 输入:
RNN只有两个输入: $ x_t $ 和\(h_{t-1}\)。这两个输入分别为当前时刻的样本输入和上一时刻的隐层状态输入。我们无法操作\(h_{t-1}\),只需要指定\(x_t\)即可。
- 输出:
RNN有两个输出:\(O_t\)和\(h_t\)。这两个输出分别为当前时间步的输出和当前时间步的隐藏层输出。当前隐藏层转态将作为输入参与下一时间步的计算。
由输入到输出\(O_t\)和\(h_t\)的计算公式分别为:
\(h_t=\sigma(U*x_t+V*h_{t-1}+b) \qquad(1)\)
\(O_t=W*h_t+c\qquad(2)\)
输出整个RNN网络的最终结果时,最后一层RNN输出的结果\(O_t\)需要进行一次非线性变换,如果是分类网络,激活函数一般为softmax。
\(\widetilde y_t =f(O_t) \qquad(3)\)
RNN优缺点
优点:
- 处理短序列,循环神经网络工作的比较好。
缺点:
- 不能处理长序列问题,原因是RNN循环相乘相乘导致梯度消失或者梯度爆炸,几乎不可训练
- RNN的这种利用上一步的输出作为上一时间步的信息输入到当前时间步,在任意时间步处理中,只参考了前面时间步的特征,序列后方没有学到更前面的时间步的特征。因此引出了BRNN。
RNN梯度消失或者梯度爆炸的原因和解决办法
在RNN反向传播中,需要求\(h_t\)相对权重V的偏导数,而这时由于有\(h_{t-1}\),\(h_{t-1}\)又是关于V的函数,根据链式求导法则,需要求\(h_t\)对\(h_{t-1}\)的偏导数,一直回溯1~(t-1)所有时刻的信息,于是会存在连乘项\(\prod {\partial h_t \over \partial h_{t-1}}\)
。
根据(1)式可知,\({\partial h_t \over \partial h_{t-1}}\)偏导数为:\(\sigma'*V\),连乘之后,会有\(\sigma'\)连乘。由于RNN使用sigmod激活函数,其导数范围在[0,0.25]之间,那么当V>4时会产生梯度爆炸,而当V<4时会产生梯度消失。
所以RNN在处理长序列时,会导致梯度消失和梯度爆炸。梯度爆炸可以采取clip,但是梯度消失比较难以解决。