lstm有浅入深

背景

彻底搞懂lstm

原理

 

lstm是长短记忆神经网络，如何做到长短记忆，有上图内部结构实现

1. 首先长时间记忆单元C(t-1)通过遗忘门g_forget去遗忘一些信息，受如下信息的控制。
   1. 当前时刻的外部输入x(t)
   2. 上一时刻的输出（短时记忆）h(t-1)
   3. 上一时刻的长时记忆C（t-1）
2. 然后由输入门g_in控制，将当前时刻的部分新信息c`（t)写入长时记忆单元，产生新的长时记忆c(t)，g_in受如下信息控制
   1. x(t)
   2. h(t-1)
   3. c(t-1)
3. 然后激活长时记忆单元c(t)
4. 最后由输出门g_out把控，将目前积累下来的记忆c(t)选出部分相关记忆生成这一时刻我们关注的记忆h(t)，再把这部分记忆进行输出y(t)，其中g_out受如下信息控制
   1. x(t)
   2. h(t-1)
   3. 当前时刻长时记忆c(t)控制