GPT前世今生-二刷论文

GPT前世今生-二刷论文

1 GPT3 专门网站

提供api ，开放各种任务

2 GPT2怎么来的

transformer 编码器+解码器

-> GPT 只是使用了解码器

-> BERT 使用了编码器

-> GPT2 1）使用解码器 2）多任务学习变化 带有prompt， 提示词的标注。

　　zeroshot

　　3)参数量增大

-> GPT3 1）使用解码器 2) 多任务学习变化 带有prompt， 提示词的标注。 zeroshot   oneshot fewshot 3) 参数量提升100倍

3 GPT3与chatGPT关系

GPT3 旨在完成AIGC任务， 可以胜任文本生成，诗歌生成等，chatGPT，仅在聊天对话方面特别突出。

4 名词解释

AIGC->GPT3->chatGPT

->GPT4

AIGC：ai生成内容

5 他们的参数量级

　　GPT2  GPT3 chatGPT

参数：17亿    1750亿   13亿

算力大小：6G  670G  5G

 

6 GPT3与GPT2关系？

GPT3 1 使用了zeroshot ， oneshot ， fewshot ，做了大量实验

2 参数量 提升了100倍

3 结构为宽度和深度变化

引入了sparse transformers 层结构  具体可以参看论文

7 RL在哪里？

可能是在训练chatGPT中实现的。