GPT调研
https://openai.com/product
https://github.com/openai/openai-cookbook openapi使用示例
https://docs.midjourney.com/docs/quick-start 根据英文图片生成
gpt不知道2022年后的事情
gpt生成的时候不联网，给的链接是生成出来的，不是真实的ref
核心模型有以下几类，其他也有针对图形和语音的
chat-gpt，基于gpt3.5-turbo
指令GPT，从简单到复杂的，最强的是davinci，这些都是基础模型
Fine-tuning模型，是需要基于基础模型进行的，
注意Fine-tuning本身是要收费的，不便宜，并且fine-tuing后的模型使用的费用要远远高于基础模型
Embedding只用到最简单的模型Ada
Fine-tuning
https://zhuanlan.zhihu.com/p/619581581
这篇讲的挺清楚的，总体就是基础模型无法针对特定的领域，需要基于基础模型去fine-tuning
Fine-tuning一般包括以下步骤：
- 加载预训练模型：选择一个与所需任务相关的预训练模型，并加载其权重。
- 选择任务数据集：选定特定任务所需的数据集。
- 对模型进行微调：将任务数据集作为输入，以最小化模型在此数据集上的损失函数。在这个过程中，通常需要在训练集和验证集上进行多次迭代，以避免过拟合问题。
- 在测试集上进行测试：使用微调后的模型，在测试集上测试其性能表现。
Embedding
https://zhuanlan.zhihu.com/p/619233637
https://github.com/imClumsyPanda/langchain-ChatGLM/blob/master/img/langchain+chatglm.png
Embedding的使用流程
GPT论文
https://zhuanlan.zhihu.com/p/614957283
https://zhuanlan.zhihu.com/p/508053361
https://zhuanlan.zhihu.com/p/511263118
https://zhuanlan.zhihu.com/p/343922021
https://zhuanlan.zhihu.com/p/343925685
首先结论，GPT1,2,3，最核心的差异在，网络规模和资料集的规模
GPT1论文，提出Pre-train加Finetune的架构，和后续提出的BERT思路一致，并且在这个时候，BERT（3亿）的性能是要好于GPT（1亿）的；所以GPT1其实不能算典型的GPT
GPT2论文，提出通用模型的概念，真正的区别于BERT，去掉FInetune部分，单纯的用一个超大语言模型，最大堆叠48层的transform decoder，15亿参数，去解决各种downstream任务。这个是个很大的突破，之前的模型一定要对于每个不同的downstream任务先进行Finetune的，而GPT之所以产生这么大的影响，就在于他的泛化能力。
GPT3论文，主要研究in-context learning带来的效果，这种方法只需要少量的100以内的训练集，而且不需要更新模型参数
可以看出在超大规模的语言模型下，in-context learning取得不错的效果
上文的引用中，这3段比较清晰的给出大模型的架构的同异
