2019年4月27日
BERT、MT-DNN、GPT2.0、ERNIE
摘要： 目前效果较好的大部分的nlp任务都会应用预训练语言模型的迁移知识，主要是采用两阶段的模型。第一阶段进行预训练，一般是训练一个语言模型。最出名的是BERT,BERT的预训练阶段包括两个任务，一个是Masked Language Model，还有一个是Next Sentence Prediction。通 阅读全文
posted @ 2019-04-27 18:53 喂你在哪 阅读(1068) 评论(0) 推荐(0) 编辑