Albert学习记录

albert相对BERT而言主要有三个改进方向：

1、对Embedding因式分解

在BERT中，词向量维度E和隐层维度H是相等的。而词嵌入学习的是单词与上下文无关的表示，而隐层则是学习与上下文相关的表示。显然后者更加复杂，需要更多的参数，也就是说模型应当增大隐层大小  ，或者说满足  。在实际中，词表V通常非常大，如果E=V，随着BERT模型的增大，E也会随着H不断增加，导致embedding matrix的维度  非常巨大。

在Albert中，想要打破  与  之间的绑定关系，从而减小模型的参数量，同时提升模型表现。词表V到隐层H的中间，使用一个小维度做一次尺度变换：先将单词投影到一个低维的embedding空间  ，再将其投影到高维的隐藏空间  。这使得embedding matrix的维度从  减小到  。当 时，参数量减少非常明显。

 

2、参数共享

通过层与层之间的参数共享也是albert减少参数量的一个方法。

bert的每一层参数独立，当层数增加时，参数量也会明显上升，albert将所有层的参数进行共享，即只学习一层的参数量，极大地减小模型的参数量，提升训练速度。

 

 3、SOP任务

Albert对BERT的预训练任务Next-sentence prediction (NSP)进行了改进。

下一句预测（Next-sentence prediction，NSP）：正样本为文章中上下相邻的两个句子，负样本为从两篇文档中各自选取一个句子。

句子顺序预测（Sentence-order prediction，SOP）：正样本为文章中上下相邻的两个句子，负样本为一篇文档中的两个连续的句子，并将它们的顺序交换

NSP任务相对简单： 模型在判断两个句子的关系时不仅考虑了两个句子之间的连贯性（coherence），还会考虑到两个句子的话题（topic）。而两篇文档的话题通常不同，模型会更多的通过话题去分析两个句子的关系，而不是句子间的连贯性，这使得NSP任务变成了一个相对简单的任务。