长短时记忆网络LSTM（Long Short Term Memory Network） 思路：原始 RNN 的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。再增加一个状态，即c，让它来保存长期的状态，称为单元状态(cell state)。 例子参考： 大脑：working memory 3.1 Read More
先来看一个例子： 之前的全连接神经网络的结构：它的隐藏层的值只取决于输入的 x: 该结构对于上面问题只能做如下预测： 比如：可以预测：花开时——>跑得快 由此可见：通过简单的神经网络（单层的前馈神经网络）无法解决该三个问题，需要用关联的神经网络来解决。 RNN：Motivation:需要前馈信息。 Read More