摘要：Motivation 以前的模型大多都只依赖于encoder或关注于decoder，分别对于生成和理解任务是次优的； 此外，大多数现有的方法把code看作是像NL这样的标记序列，只是在其上采用传统的NLP预训练技术，这在很大程度上忽略了代码中丰富的结构性信息，而这对于完全理解代码的语义至关重要 In 阅读全文

摘要：Motivation 虽然语言建模方面，NLP模型表现很好，但是在逻辑推理和数值计算领域（称其为第二类任务，system-2 task），即使是目前最大的模型也难以处理某些推理任务，如数学单词问题、符号操作和常识性推理。 本文探讨了语言模型产生一个连贯的思维链的能力——一系列的短句子，模仿一个人在回 阅读全文

摘要：Motivation 现有的方法是在训练前阶段或微调阶段利用文本的语法，使这两个阶段之间存在差异。 Existing methods utilize syntax of text either in the pre-training stage or in the fine-tuning stage 阅读全文

摘要：Motivation 微调实际上是利用大型预训练过的语言模型来执行下游任务的一种方法。但是，它会修改所有的语言模型参数，因此需要为每个任务存储一个完整的副本。 因此，要构建和部署依赖于大型预训练的LM的NLP系统，目前需要为每个任务存储一个修改后的LM参数副本。考虑到目前的lms的大规模，这可能会非 阅读全文