网络流量预测入门（二）之LSTM介绍

目录

• 网络流量预测入门（二）之LSTM介绍
  • LSTM简介
  • Simple RNN的弊端
  • LSTM的结构
    • 细胞状态（Cell State）
    • 门（Gate）
    • 遗忘门（Forget Gate）
    • 输入门（Input Gate）
    • Cell State的更新
    • 输出门（Output Gate）
    • 输出$h_t$
  • 总结
    • 参考

网络流量预测入门（二）之LSTM介绍

​ 这篇blog大家就随便看一下吧，基本上是参照RNN模型与NLP应用(4/9)：LSTM模型这个是video和Understanding LSTM Networks这篇博客写出来的。实际上大家只需要看上述两个内容就🆗了，他们的教程深入浅出，形象生动。

​ 在网络流量预测入门（一）之RNN 介绍中，对RNN的原理进行了介绍，然后，在简单明朗的 RNN 写诗教程中详细的介绍了如何使用keras构建RNN模型来写诗。

​ 而在这篇blog中将对LSTM进行介绍。

LSTM简介

​ LSTM全称Long Short-Term Memory，中文名：长短期记忆，是一种循环网络。值得注意的是，Long Short-Term Memory中的-是放在Short与Term中间的。相比较于Simple RNN，LSTM在长的时间序列中有着更好的表现。

​ Simple RNN网络会因为梯度消失问题，导致无法回忆起长久的记忆，也就是说Simple RNN是一个Short-Term Memory的模型。但是，LSTM通过某一些操作，使得其能够回忆起长久的记忆，也就是说它是一个长的短期记忆，因此被称之为 Long Short-Term Memory。——李宏毅

Simple RNN的弊端

​ RNN会面临两个问题：梯度消失问题和梯度爆炸问题，关于具体的公式推导，可以参考RNN 的梯度消失问题。

​ 简单点来说，就是下图中的$W$和$U$会随着时间序列的加长，也就是layer层数的增多而产生梯度消失和梯度爆炸问题。而LSTM通过门的机制解决了整个问题。

​ 下面将对LSTM的结构进行介绍。

LSTM的结构

​ 下面是一张LSTM的结构示意图，来自Understanding LSTM Networks，看起来很复杂，确实相比较于RNN，它确实要复杂很多，但是却也没那么难理解。与Simple RNN很类似，input 一个$x_t$，output一个状态$h_t$。（只不过在其内部多了一个叫做Cell State的东西）

​ 下图中，被重复的单元称之为细胞（Cell），也就是图中绿色的框框。

​ 下图是结构图中所出现的符号：

​ 先对符号做解释：

1. 代表的是神经网络，中间的$\sigma$或者$tanh$代表的是其激活函数。
2. 表示逐点操作：
   • 表示逐点相乘：$\left[\begin{array}{c}0.9 \\ 0.2 \\ -0.5 \\ -0.1\end{array}\right] \circ\left[\begin{array}{c}0.5 \\ 0 \\ 1 \\ 0.8\end{array}\right]=\left[\begin{array}{c}0.45 \\ 0 \\ -0.5 \\ -0.08\end{array}\right]$
   • 表示逐点相加：$\left[\begin{array}{c}0.9 \\ 0.2 \\ -0.5 \\ -0.1\end{array}\right] + \left[\begin{array}{c}0.5 \\ 0 \\ 1 \\ 0.8\end{array}\right]=\left[\begin{array}{c}1.4 \\ 0.2 \\ 0.5 \\ 0.7\end{array}\right]$
   • 表示逐点用tanh函数：$tanh(\left[\begin{array}{c}0.9 \\ 0.2 \\ -0.5 \\ -0.1\end{array}\right]) =\left[\begin{array}{c}0.717 \\ 0.198 \\ -0.462 \\ -0.100\end{array}\right]$
3. 表示如下将两个矩阵连接起来：

​ LSTM发挥作用，离不开以下几个概念：Cell State ，Forget Gate，Input Gate ，Output Gate。下面将详细对其进行介绍。

细胞状态（Cell State）

​ Celle State是LSTM最关键的部分，它类似一条传输带，贯穿LSTM整个部分（可以形象地理解为主要矛盾）。举个例子：

​ 当我们分析一部小说主题的时候，肯定不会一个字一个字地分析，我们会抓住主要矛盾，分析小说中的主要情节矛盾，然后判断一部小说的主题。

1. 有些小说写的比较隐晦，主题可能会在后段部分才显现出来，因此我们在读小说的时候，会不断更新脑海中对主要矛盾的印象，往里面添加新的东西，同时删除某些次要的东西。
2. 有的小说开门见山，在文章的开始就会告诉你主题是什么，因此，你在后面阅读的过程中，你就不会再向你脑海中的主要矛盾添加内容了，因为你知道后面的内容不会影响主要矛盾。

​ 接下来将讨论三种门，不过在讨论三种门之前，我们应该先弄清楚什么是门。

内容参考于RNN模型与NLP应用(4/9)：LSTM模型。

门（Gate）

​ 在LSTM中有三种门，那么门到底是什么呢？门的作用很简单，就是让information选择性通过。门的结构如下图左边所示：

​ 在这种情况下，当一个数据$c$通过一个门$f$🚪的时候（$f$ 中的每一个数都位于$0\sim 1$之间），$f$会对数据 $c$ 进行选择，可以让它全部通过（图中的$-0.5*1=-0.5$），也可以让它完全不通过（图中的$0.2*0=0$），当然也可以让它部分的通过。

​ 而在LSTM分别有着以下三种门：Forget Gate，Input Gate，Output Gate。

遗忘门（Forget Gate）

​ 遗忘门构成如下所示$f_{t}=\sigma\left(W_{f} \cdot\left[h_{t-1}, x_{t}\right]+b_{f}\right)$，$f_t$中的每一个值都介于$0\sim1$之间，其中$W_f$和$b_f$是LSTM在训练的时候，通过反向传播进行学习的。

​ 遗忘门的作用很简单，那就是控制$C_{t-1}$中哪一些数据应该被“遗忘”。

输入门（Input Gate）

​ 图中的 $i_t$ 表示输入门，$\tilde{C}_{t}$表示待加入Cell State的数据。$i_t$中的每一个值都介于$0\sim1$之间，而$\tilde{C}_{t}$的值介于$-1 \sim 1$之间，其中$W_i,W_c,b_i,b_c$是通过反向传播进行学习更新的。

​ 输入门的作用就是控制$\tilde{C}_{t}$中哪一些数据能够加入到Cell State中。

Cell State的更新

​ Cell State的更新需要遗忘门和输入门的同时作用，遗忘门作用于上一个状态$C_{t-1}$，输入门作用于当前输入$\tilde{C}_{t}=\tanh \left(W_{C} \cdot\left[h_{t-1}, x_{t}\right]+b_{c}\right)$。这样，当被遗忘门处理后的$C_{t-1}$加上新的输入$\tilde{C}_{t}$，就组成新的$C_t$了，完成了一次Cell State的更新。

输出门（Output Gate）

​ 输出门的结构如下说所示，$O_t$中的每一个值都介于$0\sim1$之间，其中$W_o$和$b_o$是LSTM在训练的时候，通过反向传播进行学习的。

​ 输出门的作用实际上就是通过控制$C_t$以达到控制$h_t$的目的。

输出$h_t$

​ 输出的示意图如下所示，$tanh(C_t)$中的每一个值都位于$-1 \sim +1$之间，输出门$O_t$通过控制$C_t$的information，来产生输出$h_t$。$h_t$会被赋值为两份，一份作为下个layer的$h_t$，一份用于LSTM在时序$t$时刻的输出。

总结

​ 以上，便是对LSTM结构的介绍，如果已经能够很好的理解上面的内容，让我们再回过头来看下面这张图，是不是就感觉简单起来了呢？

​ 在下篇博客，将介绍如何使用LSTM来生成音乐。嘿嘿嘿~~

参考

1. RNN模型与NLP应用(4/9)：LSTM模型
2. Understanding LSTM Networks
3. 什么是 LSTM 循环神经网络
4. ML Lecture 21-1: Recurrent Neural Network (Part I)
5. RNN 的梯度消失问题