自回归和自编码有什么区别？
2023-3-10 update：
我在huggingface的模型介绍里面看到一句话
Note that the only difference between autoregressive models and autoencoding models is in the way the model is pretrained. Therefore, the same architecture can be used for both autoregressive and autoencoding models
他俩的模型结构是一样的，区别在于预训练的方式不一样。
自回归模型只能利用上文或者下文的信息，例如，根据上文预测下文，根据下文预测上文。
自编码模型是在输入中随机MASK掉一部分单词，根据上下文预测这个词。代表就是Bert模型（在输入中随机掩盖一个单词，在训练过程中，根据上下文，预测被掩盖的单词。 这个过程也叫做降噪（denosing））。
这里如何理解这个降噪呢？被MASK掉的单词相当于在数据中加入一些噪音，将这些单词识别出来就是降噪。
在应用方面，自回归模型在生成类NLP任务有优势，比如摘要生成、机器翻译等。因为在实际生成内容的时候，就是从左向右的，自回归语言模型天然匹配这个过程。
而Bert这种DAE（Denoising Autoencoder）模式，在生成类NLP任务中，就面临训练过程和应用过程不一致的问题，导致生成类的NLP任务到目前为止都做不太好。
但是自编码的好处就是能同时看到被预测单词的上文和下文，本身是融入双向语言模型的。
自回归只能但看一侧的单词，没有双向语言模型的效果。
GPT是自回归模型，Bert是自编码模型。
XLNet是permutation LM，它是随机将输入打乱，将一部分下文单词放到上文单词的位置，然后预测，使得预测的时候同时有上下文信心，同时它还是一个自回归模型。
