transformers的近期工作成果综述

基于 transformer 的双向编码器表示(BERT)和微软的图灵自然语言生成(T-NLG)等模型已经在机器学习世界中广泛的用于自然语言处理(NLP)任务，如机器翻译、文本摘要、问题回答、蛋白质折叠预测，甚至图像处理任务。

在本文中，对基于transformer 的工作成果做了一个简单的总结，将最新的transformer 研究成果(特别是在2021年和2022年发表的研究成果)进行详细的调研。

这张图与一篇调查论文[Tay 2022]中的图相似，但被调transformers会更新并且它们的整体分类也有很大的不同。