ChatGPT

一、发展

Google-> AlphaGo ->TensorFlow -> 基于深度学习的机器翻译 -> 发布Transformer架构 -> Bert

OpenAI -> Gym -> Universe -> GPT-1(基于Transformer架构) -> GPT-2 -> GPT-3

2017年前是有监督学习，2018年是无监督学习。

 

二、GPT

GPT(Generative Pre-Training Transformer)：生成式预训练 Transformer。

ChatGPT 是基于 GPT-3 系列模型，经过指令微调，学会遵循人类指令，再经过人类反馈的强化学习训练，学会与人类偏好对齐的模型。

Transformer 最初应用于机器翻译任务，显示出潜力。Transformer 具有可扩展性和有效性的优点，成为最近大语言模型首选的基础架构。

GPT是基于Transformer架构的预训练语言模型。

GPT厉害的点在于通过【预训练】有了上下文理解、【自回归方式】生成流畅长文本。

 

关于AI设计领域的感受:

Midjourney: V5 出图质量高，但调整空间小，适合娱乐领域应用

Stable Diffusion: 依据基础模型做无限微调，适合生产力场景

SD的DreamBooth + LoRA + ControlNet几乎可以覆盖无限设计需求

三、美国通用大模型发展现状

模型名称——公司——技术支持——参数量——局限性

ChatGPT——OpenAI——GPT3.5——千亿级——无法进行网页搜索、黑箱问题

Claude(封测)——Anthropic——Constitution-ai AI——520亿——较ChatGPT代码推理能力更弱

Bard(内测)——Google——LaMDA——1370亿——犯事实性错误

BlenderBot3——Meta——Open pre-trained Transformer——1750亿——全部访问权限受限制

Megatron Turing——微软英伟达——Transformer语言模型——5300亿——被chatGPT反超

 

四、GPT的应用场景

1.  知识库整理、代码注释
2. 组合运用AIGC工具完成深度文案
3. 通用型公众号文章-ChatGPT搞定；专业性文章——ChatGPT会瞎编

   1. New bing 回答通用性问题弱于ChatGPT

      写作猫（中文润色）->ChatGPT

      NEW Bing -> 校验来源

4. ChatGPT+OPen AI  Whisper/Google Voice.  ——>小朋友写英语
5. 低代码平台——Appsmith
6. 开发角度： 代码注释、代码语言切换、代码规范、生成测试代码、写脚本、代码纠错等

   　

 

五、GPT带来的改变

过去学习一个新领域并产生价值的路径：
基本概念——>老师教学——>案例学习——>实验项目

GPT时代的学习路径(精准学习当前需要的)：

确定目标——>真实项目——>遇到问题——>(1. 了解项目所需的最小概念;2. 通过GPT直接获得解决方法;3. 顺藤摸瓜学习相关知识 )

 

六、GPT的缺点

GPT因为只是学习[一种模式]，可以理解为函数，所以内容无法被直接增删改查，信息和规律以模型呈现。

 

 

七、名词

机器学习>>深度学习>>神经网络>>大语言模型(如GPT)

深度学习是机器学习的一部分，神经网络是深度学习的核心，大语言模型是神经网络的一个子类型。GPT是常见的大语言模型。

 

人工智能(Artificial Intelligence,简称AI)是计算机科学的一个领域，旨在使计算机系统能够模仿人类的智能行为。

机器学习(Machine Learning) 是人工智能领域的一个重要分支，关注如何使计算机系统能够从数据中自动学习和改进，而无需明确地编程。简而言之，机器学习是让机器从经验中学习，从而提高性能。

深度学习(Deep Learning)是机器学习的一个子领域，旨在试用多层神经网络来进行学习和表示数据。它模仿了人脑神经元之间的连接方式，通过多层神经元来学习和捕捉数据中的模式和特征。

自然语言处理(Natural Language Processing ,NLP):NLP是人工智能领域的一个分支，专注于让计算机能够理解、处理和生成人类语言。

大语言模型(LLM) Large Language Model：

预训练：预训练和其他模型最大的不同是提前自主学习、不需要人工定义大部分特征（小部分标注数据），输出通用模型。