RNN

RNN（Recurrent Neural Networks）循环神经网络

广泛应用于自然语言处理（NLP，Natural Language Processing）

 

Back Propagation Through Time

Vanishing gradient problem

LSTM，

长期依赖，long term dependencies

the clouds are in the sky，推测最后一个词sky

I grew up in France...I speak fluent French，推测最后一个词French，间隔比较大

定向循环，可以持久化信息

人们阅读时，都是基于之前的积累来理解当前的词，而不总是从一片空白开始。

 序列

 

 

 

参考链接：

http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/