LSTM基本信息

因为循环神经网络RNN存在长时间传输,信息丢失的问题,所以提出了LSTM,长短时间记忆网络。

上图中,\(x_{0}\)\(x_{1}\)的信息,在传输到\(h_{3}\)的时候,会存在严重丢失。

如果花费大量精力去调整参数,也可以做到信息不丢失。但是这太难了。

LSTMs通过增加4个网络层来解决这个问题。

状态门

遗忘门

记忆门(输入门)

输出门

posted on 2020-08-10 10:21  宋岳庭  阅读(174)  评论(0编辑  收藏  举报