Language Modeling with Gated Convolutional Networks
语言模型
所谓的语言模型，即是指在得知前面的若干个单词的时候，下一个位置上出现的某个单词的概率。
最朴素的方法是N-gram语言模型，即当前位置只和前面N个位置的单词相关。如此，问题便是，N小了，语言模型的表达能力不够。N大了，遇到稀疏性问题，无法有效的表征上下文。
LSTM模型一般会将单词embedding到连续空间，然后输入进LSTM，从而有效的表征上下文。但LSTM的问题在于，作为递归模型，当前状态依赖于上一状态，并行化受到限制。
门限卷积
所谓的门限卷积，其核心在于为卷积的激活值添加一个门限开关，来决定其有多大的概率传到下一层去。下面一步步对上图进行解析。
首先，将单词embedding到连续空间；即上图中的第二部分Lookup Table。这样，单词序列就能表现为矩阵了。
然后就是卷积单元了（上图中的第三部分），与普通卷积不同，门限卷积在这里分为两部分，一部分是卷积激活值，即B，该处于普通卷积的不同在于没有用Tanh，而是直接线性。另一部分是门限值，即A，A也是直接线性得到，但会经过一个sigmoid运算符。
之后就是门限单元，A和B进行element-wise的相乘，得到卷积后的结果。卷积单元和门限单元加起来形成一个卷积层。
经过多个这样的卷积层之后，再将其输入到SoftMax中，得到最后的预测。
细节
在做卷积层的时候，需要不让第i个输出值看到i以后的输入值。这是由语言模型的特性决定的，需要用i之前的信息来预测i。为了达到这样的效果，需要将输入层进行偏移，偏移k/2个单位，其中k是卷积的宽度，偏移后开头空缺的部分就用0进行padding。
由于residual network的强大能力，在真正的实现里，会把卷积单元和门限单元包在一个residual block里。
在最后的softmax层，普通的softmax会因为词表巨大而非常低效。因而选用adaptive softmax。adaptive softmax可以为高频词分配更多的空间而给低频次分配比较少的空间。
门限机制
LSTM中有input门和forget门两种，这两种缺一则会导致有些信息的缺失。而卷积中，经过实验，不需要forget gate。
而LSTM中使用的input门，如上。这种在卷积上却容易导致vanishing问题。因为tanh‘和σ’都是小于1的值。
因而，在卷积上，使用：
该方法存在一路使得X的导数可以不被downscale的传下去。
实验
Setup
- 使用Google Billion Word和WikiText-103两种数据集。
- 使用perplexity来进行衡量结果。
- 使用Nesterov’s momentum算法来训练，momentum设为0.99。
- weight normalization.
- gradient clipping to 0.1
- 使用Kaiming initialization
- learning rate 从[1., 2.]中uniformly选取
效果测试
单GPU上效果最好。
性能测试
Throughput是指在并行化条件下最大输出。
Responsiveness是指序列化的处理输入。
由表可知，CNN本身的处理速度非常快。而LSTM在并行化后也能拥有很高的速度。究其原因，是在cuDNN中对LSTM有特别的优化，而对1-D convolution却没有。但即便如此，CNN仍然完胜。
不同门限测试
- GTU: tanh(X*W+b)⊗σ(X*V+c)
- GLU: (X*W+b)⊗σ(X*V+c)
- ReLU: X⊗(X>0)
- Tanh: tanh(X*W+b)
非线性模型测试
上一个实验证明了Gated linear unit深受Linear unit的好处。这里评测一下GLU和纯线性模型的比较。
- Bilinear: (X*W+b)⊗(X*V+c)
纯Linear模型同5-gram模型效果类似。
模型深度测试
Context Size测试
训练测试
缺点
- 卷积不似LSTM那样灵活，输入只能是定长。
