GPT——生成式预训练Transformer

GPT最近很火呀，那什么是GPT呢？

  机器学习领域有个很好的模型叫  Transformer注意力模型，然后在此基础上发展出了包括GPT、BERT、GPT2.0以及GPT3.0等等。其发展历程大概是：

（1）2018年，OpenAI基于Transformer提出了GPT；

（2）2018年，Google推出了GPT的升级版BERT；

（3）2019年，OpenAI推出了GPT的升级版GPT2.0。

  GPT对Transformer进行了一些改进，GPT只能从左到右，或者从右到左扫描输入数据，因此被称为“单向模型”。GPT采用的一个策略是“预训练+微调”。预训练的GPT中，存储了从语料中学习到的语义和语法信息。