Bert模型

Bert模型具有两个预训练任务，分别是 Masked LM 和 Next Sentence Prediction。

BERT 的第一个预训练任务是 Masked LM，在句子中随机遮盖一部分单词，然后同时利用上下文的信息预测遮盖的单词，这样可以更好地根据全文理解单词的意思。第二个预训练任务是Next Sentence Prediction，下一句预测任务，这个任务主要是让模型能够更好地理解句子间的关系。比如在智能问答系统里需要理解两个句子的关系，这个预训练任务对智能问答能够起到很好的效果，我觉得在一些并不需要理解上下文关系的任务中就没有必要使用这个预训练任务。