动画展示RNN、LSTM和GRU计算过程

转自：https://zhuanlan.zhihu.com/p/115823190

RNN常用来处理序列式问题，本篇采用动图的方式展示RNN的计算过程。最常见的3中RNN网络结构分别为:

• vanilla RNN
• long short-term memory (LSTM)
• gated recurrent units (GRU)

 

下面是插图中使用的各个图例的说明

NOTE：动画展示的是在某个时刻(indexed by t)RNN cell 内部的处理，示例中input size=3,hidden units =2,batch size=1。

Vanilla RNN

 

• t--time step
• X--input
• h--hidden state
• length of X--dimension of input
• length of h--no. of hidden units

LSTM

 

 

• C--cell state

GRU