摘要：
现在考虑BERT的输入。一般来说NLP里面的输入都是成对的，比如机器翻译，有一个源句子还有一个目标句子。那么这里如何让输入是两个句子呢？我们只用拼接起来就好了，如下 <cls>表示classification，sep表示句子分隔符（separation）；Segment Embeddings就是用来 阅读全文
摘要：
BERT的任务是构建一个通用的模型，那么在NLP里面，语言模型（看一些词，预测下一个词）显然是最通用的，所以我们将BERT训练成一个语言模型，即带掩码的语言模型。但是Transformer是双向的，而语言模型是单向的，这显然就不能直接训练，于是这就是我们带掩码的原因。<mask>就是我们要填写的词， 阅读全文
摘要：
在我们已经训练好BERT后，BERT就可以对输入的每一个词元返回抽取了上下文信息的特征向量（也就是对于任意一个词元，将这个词元当做查询，所有词元当做键值对） 一些任务如下 这里将<cls>的特征向量传递给全连接层的原因就是因为<cls>本来就是用来分类的，所以肯定传这个。当然也可以传其他的，反正我们 阅读全文
