2021年4月21日
语言模型：自回归（Autoregressive LM）与自编码（Autoencoder LM）
摘要： 自回归语言模型（Autoregressive LM） 在ELMO／BERT出来之前，大家通常讲的语言模型其实是根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归语言模型。GPT 就是典型的自回归语言模型。EL 阅读全文
posted @ 2021-04-21 18:00 AliceYing 阅读(1690) 评论(0) 推荐(0)