RNN前向传播与反向传播

RNN模型

 

RNN前向传播

\[{h^{(t)}} = \sigma \left( {{z^{\left( t \right)}}} \right) = \sigma \left( {U{x^{\left( t \right)}} + W{h^{\left( {t - 1} \right)}} + b} \right)\]

\[{o^{\left( t \right)}} = V{h^{\left( t \right)}} + c\]

\[{y^{\left( t \right)}} = \sigma \left( {{o^{\left( t \right)}}} \right)\]

 

RNN反向传播

上面这些公式可能存在一些错误

 

参考博客

https://www.cnblogs.com/pinard/p/6509630.html