因为循环神经网络RNN存在长时间传输,信息丢失的问题,所以提出了LSTM,长短时间记忆网络。
上图中,\(x_{0}\)和\(x_{1}\)的信息,在传输到\(h_{3}\)的时候,会存在严重丢失。
如果花费大量精力去调整参数,也可以做到信息不丢失。但是这太难了。
LSTMs通过增加4个网络层来解决这个问题。