自回归(auto-regression)机制
摘要:
在每个新单词产生后,该单词就被添加在之前生成的单词序列后面,这个序列会成为模型下一步的新输入。这种机制叫做自回归(auto-regression),同时也是令 RNN 模型效果拔群的重要思想。 GPT-2,以及一些诸如 TransformerXL 和 XLNet 等后续出现的模型,本质上都是自回归模 阅读全文
posted @ 2019-11-10 22:39 耀扬 阅读(3327) 评论(0) 推荐(1) 编辑