LSTM模型
摘自:http://www.voidcn.com/article/p-ntafyhkn-zc.html
(二)LSTM模型
1.长短期记忆模型(long-short term memory)是一种特殊的RNN模型,是为了解决RNN模型梯度弥散的问题而提出的;在传统的RNN中,训练算法使用的是BPTT,当时间比较长时,需要回传的残差会指数下降,导致网络权重更新缓慢,无法体现出RNN的长期记忆的效果,因此需要一个存储单元来存储记忆,因此LSTM模型被提出;
2.下面两个图可以看出RNN与LSTM的区别:
(1)RNN
(2)LSTM
PS:
(1)部分图形含义如下:
(2)RNN与LSTM最大的区别在于LSTM中最顶层多了一条名为“cell state”的信息传送带,其实也就是信息记忆的地方;
3.LSTM的核心思想:
(1)理解LSTM的核心是“cell state”,暂且名为细胞状态,也就是上述图中最顶的传送线,如下:
(2)cell state也可以理解为传送带,个人理解其实就是整个模型中的记忆空间,随着时间而变化的,当然,传送带本身是无法控制哪些信息是否被记忆,起控制作用的是下面将讲述的控制门(gate);
(3)控制门的结构如下:主要由一个sigmoid函数跟点乘操作组成;sigmoid函数的值为0-1之间,点乘操作决定多少信息可以传送过去,当为0时,不传送,当为1时,全部传送;
(4)LSTM中有3个控制门:输入门,输出门,记忆门;
4.LSTM工作原理:
(1)forget gate:选择忘记过去某些信息:
(2)input gate:记忆现在的某些信息:
(3)将过去与现在的记忆进行合并:
(4)output gate:输出
PS:以上是标准的LSTM的结构,实际应用中常常根据需要进行稍微改善;
5.LSTM的改善
(1)peephole connections:为每个门的输入增加一个cell state的信号
(2)coupled forget and input gates:合并忘记门与输入门