深度学习之文本分类模型-基于RNNs和LSTM系列
1、RNN和LSTM简介
首先我们来简要介绍一下RNN模型和LSTM模型,这样,我们可以很好的理解后面的延伸的模型。可以参考RNN和LSTM模型详解
2、tree-LSTM模型
tree-LSTM是由Kai Sheng Tai[1]等人提出的一种在LSTM基础上改进的一种算法,这是一种基于树的一种算法,论文中提出了两种模型结构,Child-Sum Tree-LSTMs和N-ary Tree-LSTMs。
LSTM是严格按照按照固定的输入序列进行输入,即从头到尾输入单词序列,无法改变顺序。tree-LSTM的思想主要是根据句法分析,语法分析等操作,先构建好一个树,然后根据单词间的相互关系,每个单词分别输入到不同的节点中,通过作者的实验表示,这种方法要比传统的LSTM效果要好。
![](https://img2020.cnblogs.com/blog/1979674/202004/1979674-20200426102405528-1750723862.png)
Child-Sum Tree-LSTMs
根据名字我们可以看出,这是一种将child进行相加的方法。具体操作是什么样的呢?这里假定只考虑一个父节点和其多个子节点的情况,了解了这种情况,对于该父节点的父节点,其实可以依次类推。
给定一个父节点,这个父节点输入的单词序列为\(x_{j}\),子节点的集合为\(C(j)\),注意,这里的\(j\)表示不同的含义,\(x_{j}\)表示的父节点输入的单词vector,第二个\(C(j)\)表示子节点的集合,\(C(1)\)表示第一个孩子。首先,先将子节点的隐藏向量\(h\)进行累加,这也是为啥这个模型叫child-sum的原因了。
接下来,我们计算其他的参数,这里我们要注意一下,\(f_{jk}\)是由每个子节点对应的\(h\)计算而来,而其他的公式则由上个公式\(h_{j}\)计算而来。
![](https://img2020.cnblogs.com/blog/1979674/202004/1979674-20200426105421324-577672524.png)
最后,更新当前父节点的参数\(c_{j}\)和\(h_{j}\)。
![](https://img2020.cnblogs.com/blog/1979674/202004/1979674-20200426105814078-1923795600.png)
N-ary Tree-LSTMs
这种方法和Child-Sum Tree-LSTMs不同之处在于Child-Sum Tree-LSTMs在计算\(i_{j}\),\(o_{j}\),\(u_{j}\)计算时使用的是每个子节点的隐藏向量加和,而N-ary Tree-LSTMs基本上给这三个输出结果都加上了相应的权值向量\(U\),而不是简单的利用隐藏向量的加和。看下公式
![](https://img2020.cnblogs.com/blog/1979674/202004/1979674-20200426113428666-661798615.png)
接着得到相应的输出
![](https://img2020.cnblogs.com/blog/1979674/202004/1979674-20200426113542052-248485074.png)
3、MT-LSTM
MT-LSTM(Multi-Timescale Long Short-Term Memory Neural Network)是由复旦大学Pengfei Liu[2]等提出的一种算法,这种方法将LSTM的模型进行了分组,每个组可以选择激活或者不激活,这个由一个函数进行调控,这种方法模拟了人的记忆,激活较多的代表了人的近期记忆,激活少的组代表了人的长久之前的记忆。
![](https://img2020.cnblogs.com/blog/1979674/202004/1979674-20200426191354097-535180497.png)
上图中(a)表示的传统的LSTM,(b)表示的MT-LSTM模型,在这个模型中,分了三个组,即\(g^{1},g^{2},g^{3}\),虚线框表示当前时间t该组没有激活,实线框表示该组激活,虚线箭头表示当前节点的权值不进行改变,或者理解为复制上一个节点的权值,实线箭头表示上一个节点参与当前的计算。
- 如何确定某个组在某个时间t是否激活
在论文中,假定了一个公式,即\(t%T_{k} == 0\)则进行激活,这里\(t\)表示时间,也可以理解为单词序列的长度,或者叫句子的长度,\(T_{k} = 2^{k-1}\),上图中的k=1,2,3,则\(T_{1}=1\),\(T_{2}=2\),\(T_{3}=4\)。
在第一个时间步骤,t=1,则第一个组1 % 1 = 0,激活。第二个组1 % 2 = 1,不激活。第三个组1 % 4 = 4,不激活。我们可以看到图中,只有\(g_{1}^{1}\)是实线框,\(g_{1}^{2}\)和\(g_{1}^{3}\)是虚线框。
在第二个时间步,t=2,则第一个组2 % 1 = 0,激活。第二个组2 % 2 = 0,激活。第三个组2 % 4 = 4,不激活。我们可以看到图中,只有\(g_{1}^{1}\)和\(g_{1}^{2}\)是实线框,\(g_{1}^{3}\)是虚线框
依次类推,最终,我们将三个组的结果进行汇总,再接上一个softmax,就可以进行我们后续的操作了。在这一步,我们发现,\(g_{1}^{1}\)无论在哪个时间t,都是激活状态,而越往上的组,激活节点越来越少,所以,最下层的可以理解为人的"短期记忆",即这个组中节点信息保留最多的是最近几个词汇的信息,而最上面一层的节点可以理解为人的"长期记忆"(我们总有一些童年的某件事情使你无法忘怀)。
- 每个节点是如何更新的
![](https://img2020.cnblogs.com/blog/1979674/202004/1979674-20200426193534601-179256957.png)
这张图表示的是当前节点若是激活状态下的节点计算方式,其基本计算和传统的LSTM类似,区别在于输入的是上一个时间节点t下的节点状态信息。对于当前节点没有处于激活状态那么怎么办呢?很简单,直接复制呗,如下。
![](https://img2020.cnblogs.com/blog/1979674/202004/1979674-20200426194103043-1568724455.png)
- Fast-to-Slow策略和Slow-to-Fast策略
我们再来观察MT-LSTM的图,从x3到x4的序列上,x4上的所有组都处于激活状态,但是\(g_{4}^{3}\)有分别来自\(g_{3}^{1}\),\(g_{3}^{2}\),\(g_{3}^{3}\)的节点输入,但是\(g_{4}^{1}\)只有来自\(g_{3}^{1}\)的节点输入,这种方式就是Fast-to-Slow策略。这里假定处于底层的组为fast组,上层的组为slow组,fast-to-slow表示上层的组更新,需要上一个时间t的小于它的组级别的输入更新,slow-to-fast则正好相反。我们可以看一下这张图
![](https://img2020.cnblogs.com/blog/1979674/202004/1979674-20200426194922008-1904305130.png)
- 其他
关于论文中作者有一些地方写错了,在此罗列出来,以免后人踩坑。同时也希望我们的研究学者能够对工作更加认真一些。
![](https://img2020.cnblogs.com/blog/1979674/202004/1979674-20200426195143781-1164360527.png)
![](https://img2020.cnblogs.com/blog/1979674/202004/1979674-20200426195155150-272351151.png)
4、topicRNN
topicRNN是由哥伦比亚大学和微软[3]联合提出的一种算法,将主题模型和RNN进行融合,既融合了主题模型可以获取全局信息的优势,又融合了RNN可以捕获短距离的优势。其基本算法如下所示:
step1:利用高斯分布得到主题向量\(\theta \sim N(0,I)\)
step2:给定一篇文章的单词序列\(y_{1:t-1}\),对于文章中的第t个词
- 根据RNN计算其隐状态,\(h_{t} = f_{W}(x_{t},h_{t-1}), x_{t} \equiv y_{t-1}\)
- 停用词indicator,\(l_{t} \sim Bernoulli(\sigma (\Gamma ^{T} h_{t}))\)
- \(y_{t} \sim p(y_{t} | h_{t}, \theta , l_{t}, B)\) 其中
首先,我们先获得根据高斯分布得到的参数\(\theta\),接下来,我们将单词逐次输入到RNN中,得到每一个隐藏单元\(h_{t}\),当我们得到这些隐藏层单元\(h_{t}\)之后,会通过一个指示器indicator,这个指示器可以看做是一个函数,将\(h_{t}\)进行一个线性变换,再输入到一个sigmoid函数中,我们得到的结果是一个[0,1]之间的数值,这里,用一个伯努利分布,即对于大于0.5的数值输出结果为1,小于0.5的输出结果为0。其中1表示使用停用词,0表示不适用停用词,当指示器为1时,$ b^{T}_{i} \theta$不生效,为0时,不生效。
[2]Pengfei Liu(2015)Multi-Timescale Long Short-Term Memory Neural Network for Modelling Sentences and Documents
[3]Adji B. Dieng(2017)TOPICRNN: A RECURRENT NEURAL NETWORK WITH LONG-RANGE SEMANTIC DEPENDENCY