2019年4月19日
语言模型预训练方法（ELMo、GPT和BERT）——自然语言处理（NLP）
摘要： 1. 引言 在介绍论文之前，我将先简单介绍一些相关背景知识。首先是语言模型（Language Model），语言模型简单来说就是一串词序列的概率分布。具体来说，语言模型的作用是为一个长度为m的文本确定一个概率分布P，表示这段文本存在的可能性。在实践中，如果文本的长度较长，P(wi | w1, w2, 阅读全文
posted @ 2019-04-19 11:29 杨国峰 阅读(1113) 评论(0) 推荐(0) 编辑