2021年6月29日
NLP领域预训练模型
摘要： 声明 本文原文来自于：arxiv 介绍 在大语料上训练的预训练模型可以学习得到通用的语言表达知识，对很多下游任务表现有帮助。随着算力的提升、训练方法越来越强，这些模型也越来越深。 第一代预训练模型学习词嵌入模型，由于模型本身不会用在后面的任务中，因此大多比较浅； 第二代预训练模型关注结合上下文语境的 阅读全文
posted @ 2021-06-29 11:01 TABball 阅读(996) 评论(0) 推荐(0) 编辑