GPT-3: 通用模型时代已到来?

五月底，OpenAI发布了GPT-3，随之又发布了API beta版。之后GPT-3一直处于NLP的焦点。各种基于API的应用吸引了许多的眼球。下面列举几个:
自动写代码，使用者只要语言描述一下逻辑，前端代码自动生成。
(来自Twitter)
low code时代要进入到no code时代了？
 
或者相反，你想知道某段代码是干嘛的，有啥问题风险之类的。
自动读代码
(来自Twitter)
DeepCode是不是有点小惊慌。
 
智能问答系统
(来自油管，建议看一下原视频: https://www.youtube.com/watch?v=8psgEDhT1MM)
智能搜索时代已到来？各种搜索引擎将被取代？

 

还有自动做表格，做数学题等。写文章，写诗，翻译等传统nlp项目更是不在话下。更博眼球的是，GPT-3对于抽象问题，哲学问题的回答。
 
 
甚至有人在说，GPT-3是不是意味着首个AGI的到来？(很有意思的blog)

GPT-3: The First Artificial General Intelligence?

 

不管是不是炒作，GPT-3的的确确完成了许多新任务，而且只需要zero-shot, one-shot或few-shot.
 
我们不讨论社会反响，回到论文本身上来。
论文链接:

 

论文长达76页。GPT-3并没有技术上的突破，只是扩大了网络和增加了数据。即使没有很多的数学分析推导，GPT-3的人工工作也是巨大的。要说最大的看点呢，按优先级，我觉得应该是以下几方面:

 

巨型网络，large的模型有175 billion parameters。这么说更加直观，训练时间为655 GPU years, 花费是460万美刀。以至于GPT-3模型训练好之后，在做分析的时候，发现数据处理的一个bug，使得bench mark的数据被用来做训练了，但考虑到cost也不重新训练模型。这在论文中都有提到。除了对处理器的要求，对于内存的要求也是巨大的。但是他们认为，即使训练的代价非常的大，但是因为模型够通用，所以这笔费用可以按揭到应用上来，相当fair。而且使用模型貌似cost不是那么高，生成一个700页的文章，费用也仅仅是几美分。

 

抛弃fine-tune。BERT的成功使得fine-tune更加的流行。但GPT-3大胆的提出了fine-tune的问题，首先fine tune仍然需要上千以上的训练数据，这是最大的问题。其次fine-tune一个general的网络一容易overfitting，二失去了general的功能。所以GTP-3坚信足够大型的网络和足够多的数据是能够得出一个解决general问题的通用模型，即使不能，也应该可以做到如人类一样，通过几个样本的学习就能解决问题。这一段的分析非常的有意思。
 
GPT-3做了完备的污染数据分析(contamination analysis). 因为模型训练用了几个大型网络数据集，所以很可能用于做评估的数据被误用于模型训练。第一点已经提到，他们确实发现了这个问题。不知道那个是因还是果，总之论文对于污染数据做了详细的分析，不仅包含了被误用的数据的分析，还包含了用污染数据做评估之后结果可靠性的影响。看了这一段，真的对其严谨的学术态度非常的钦佩。

 

论文还大篇幅的分析了GPT-3在道德问题上是否存在偏见，比如说性别，人种，宗教。并得出结论，大型网络比起中小型网络，在事实数据存在偏见的情况下，更加客观公正。但也承认这些还不够，下一步工作是进行干预，能够尽可能纠正数据带来的偏见问题。
 
解决问题能力，当然很重要的一部分是分析GPT-3擅长什么问题，不擅长什么问题。对于某些经典难题，GPT-3也暂时是无能为力。并且列出了未来的研究方向。

 

整篇论文都非常的严谨。很多博客和推特对于GPT-3存在的问题进行了严厉的抨击，我觉得他们一定是没有好好读过原论文。GPT-3可以说是里程碑的，但不是万能的。他的未来工作还很多，但正如论文提到的，他们最重要的是证明了足够大的网络足够多的数据训练出来的模型是相当通用的。

 

如本文开头提到的, GPT-3有beta API可以试用，不过得在waiting list上等。正式的API是什么样子，商用模式如何还非常的未知。不管怎样, NLP爱好者们还是值得一试的。
 
更多博主文章，关注微信公众号:
posted @ 2020-08-03 05:07  dagis  阅读(2222)  评论(0)  编辑  收藏  举报