转载:A Light Introduction to Transfer Learning for NLP

1. 预训练允许模型从大规模语料库中捕获和学习各种语言现象，例如长期依赖和否定。

2. 然后使用（转移）该知识来初始化然后训练一个 fine tune 模型以在特定的NLP任务上表现良好，例如情绪分类。

3. 这在语言中起作用，因为它确实会在语言中发生，例如，否定是从文本信息中检测情感极性的重要属性。此外，否定也可能对讽刺检测有用，比如讽刺检测，这是NLP中最复杂，最未解决的任务之一。

4. 具有通用属性的语言模型在NLP研究中缺乏注释数据集或语言资源的情况下可能是有用的。

5. 到目前为止，我们知道从预训练语言模型中获得的知识，例如以词嵌入的形式，对于许多NLP任务表现得非常好。

6. 这里的问题在于，这种以潜在特征形式存在的知识并不宽泛或不足以在目标或下游任务上表现良好。

以下几个问题:

What do we mean by modeling deep contextualized representations in the context of language

通过在语言环境中对深层语境化表示进行建模，我们的意思是什么。

What is the model really learning

什么是真正学习的模型。

How to build and train these pretrained language models

如何构建和训练这些预训练的语言模型。

What are the key components of the pretrained language models and how to improve them

预训练语言模型的关键组成部分是什么以及如何改进它们。

How do we use or apply them to solve different language-based problems

我们如何使用或应用它们来解决不同的基于语言的问题。

What are the benefits of pretrained language models as compared to conventional transfer learning techniques f
or NLP

与传统的NLP传递学习技术相比，预训练语言模型有什么好处。

What are the drawbacks

有什么缺点。

What aspects of natural language do we need to keep in mind when pretraining language models

在训练语言模型时，我们需要记住自然语言的哪些方面。

What kinds of pretraining tasks are we considering to build and test these so-called generalizable NLP systems

我们正在考虑构建和测试这些所谓的可推广NLP系统的哪些预训练任务。

And more importantly, what kinds of datasets should we use that are representative enough to address the wide
range of NLP tasks

更重要的是，我们应该使用哪种类型的数据集，这些数据集足以代表广泛的NLP任务。