ChatGPT学习研究总结
ChatGPT研究总结
ChatGPT是一种由OpenAI训练的大型语言模型，它可以生成人类语言文本。在编写小段代码、书写描述功能介绍等等方面有一定的帮助，但因为工具本来存在一些错误现象，所以还需要人工审核，用其精华。同时，使用过程中还需注意对结果中可能存在的版权风险。
目前ChatGPT使用中主要存在如下问题：
- 慢：因为计算量巨大，速度较慢，通常一个问题需要几分钟才有答案
- 错：因为只是文本语言模型分析，存在回答结果错误现象
- 广度待提升：模型训练的领域广度还待提升
一、程序接入用途不大
程序接入的用途不大，因为通过sdk只是封装出一个软件界面，核心的计算代码还是部署在服务器上的训练代码，而目前通过微信公众号（ChatChatGPT）等接口输入也能达到使用ChatGPT，所以没有必要来接入程序，做一个“软件壳”，作用不大。
二、思考：如何构建一个类似ChatGPT的自定义模型
例如，能否构建一个压裂监测模型，根据监测的电磁信号来推测压裂缝隙的走向?
关于这个问题，先总监一下 ChatGPT 模型构建中的几个关键点：
1、大数据训练:
- 基于2021年所拥有的数据集，预训练数据量可能超过百T级，非常巨大
- ChatGPT参数量达到了1750亿，模型设定的参数非常多
2、人工对结果标注
ChatGPT进行了人工标反馈和奖励，以辅助人工智能程序不断优化（进化）
3、训练费用
“GPT-3 模型训练一次需要花费 460 万美元”
见附录：《chatGPT 的 49 种应用场景介绍，各开发语言接入 chatGPT 参考指南》一文。
综合这几点，我们可以构建出一个预测压裂监测缝隙的模型，但前提是有足够的数据，也需要人工来验证相应数据的结果，提供充足的资金，来进行模型训练。
一些ChatGPT研究学习资料（来源网络）
（1）一文读懂ChatGPT模型原理
一文读懂ChatGPT模型原理
https://zhuanlan.zhihu.com/p/589621442
不光是做人工智能、机器学习的人关注，而是大量的各行各业从业人员都来关注这个模型，真可谓空前盛世。
所谓语言模型的训练和学习，就是从大量的数据中学习复杂的上下文联系。
与此同时，OpenAI 早于 Bert 出品了一个初代 GPT 模型。
在 NLP 领域，人们使用语言一般包括三个步骤：
接受听到或读到的语言 -> 大脑理解 -> 输出要说的语言。
GPT-3 的模型所采用的数据量之大，高达上万亿，模型参数量也十分巨大，上千亿，学习之复杂，计算之繁复，
如此巨大的模型造就了 GPT-3 在许多十分困难的 NLP 任务，诸如撰写人类难以判别的文章，甚至编写SQL查询语句，React或者JavaScript代码上优异的表现。
ChatGPT 模型上基本上和之前 GPT-3 都没有太大变化，主要变化的是训练策略变了，用上了强化学习。
几年前，alpha GO 击败了柯洁，几乎可以说明，强化学习如果在适合的条件下，完全可以打败人类，逼近完美的极限。
强化学习非常像生物进化，模型在给定的环境中，不断地根据环境的惩罚和奖励（reward），拟合到一个最适应环境的状态。
这里重点是第二步中，如何构建一个 reward 函数，在alpha go 里，这个reward 函数就是下完一盘围棋之后判断谁输谁赢，只需要一个程序函数即可完成。
而在ChatGPT里，具体就是让那40名外包人员不断地从模型的输出结果中筛选，判断哪些句子是好的，哪些是低质量的，这样就可以训练得到一个 reward 模型。
一个语言文字训练的人工智能程序
存在问题：
- 仅限于语言标注
- 仅限于以前输入到系统中，训练的数据库，如果有新的数据还需要重新添加并训练
- 存在编程过程中，答案正确率较低的现象
（2）MATLAB科研图像处理——基于ChatGPT编程
MATLAB科研图像处理——基于ChatGPT编程
https://zhuanlan.zhihu.com/p/600853001
ChatGPT是一个非常强大的语言模型，但它并不是万能的
（3）ChatGPT发展历程、原理、技术架构详解和产业未来 （收录于先进AI技术深度解读）
ChatGPT发展历程、原理、技术架构详解和产业未来 （收录于先进AI技术深度解读）
https://zhuanlan.zhihu.com/p/590655677
ChatGPT 是一种专注于对话生成的语言模型。它能够根据用户的文本输入，产生相应的智能回答。这个回答可以是简短的词语，也可以是长篇大论。
其中GPT是Generative Pre-trained Transformer（生成型预训练变换模型）的缩写。
目标是开发造福全人类的AI技术。
每一代GPT模型的参数量都爆炸式增长，堪称“越大越好”。2019年2月发布的GPT-2参数量为15亿，而2020年5月的GPT-3，参数量达到了1750亿。
ChatGPT 是基于GPT-3.5（Generative Pre-trained Transformer 3.5）架构开发的对话AI模型，是InstructGPT 的兄弟模型。ChatGPT很可能是OpenAI 在GPT-4 正式推出之前的演练，或用于收集大量对话数据。
因此它只能基于2021年所拥有的数据集进行回答
ChatGPT 通过算法屏蔽，减少有害和欺骗性的训练输入。
（4）程序员浅用ChatGPT：替代还很远
程序员浅用ChatGPT：替代还很远
https://www.163.com/dy/article/HSNQA9C305199DKK.html
李智认为，ChatGPT并不能编写程序员角度的代码，而是从互联网收集庞大信息库并使用它来生成代码，解决问题还是要靠人。
对于软件程序，ChatGPT目前只有通用底层的能力，涉及电商、云服务等业务层面的能力尚有欠缺。比如要写一个小程序，是可以借用ChatGPT来找算法、写代码、写脚本
考虑到会侵犯知识产权。
（5）用ChatGPT 做硬件设计？
用ChatGPT 做硬件设计？
https://zhuanlan.zhihu.com/p/591011604
（6）chatGPT 的 49 种应用场景介绍，各开发语言接入 chatGPT 参考指南
chatGPT 的 49 种应用场景介绍，各开发语言接入 chatGPT 参考指南
https://xie.infoq.cn/article/f4638356930eebb07ebe8c225
分析了存在的问题：
- 慢
- 错
- 广度待提升
api 注册使用流程
直接用 chatGPT 去创建一个程序要用的秘钥，
就可以使用 http 接口调用了。
程序接入到 chatGPT，所调用的接口，都是收费接口，不过还好的是每一个新注册的账号头 3 个月免费使用，总消费额度不超过 18 美元即可。另外下图 4 个方块就是 nlp 的模型，左边 ada 速度最快，右边达芬奇功能最强大。
