模型调用
百度--文心一言 100万token
阿里--通义千问
腾讯-- 混元大模型
抖音--云雀大模型 豆包
收费: 模型部署 模型精调 模型微调 模型推理
历史: 2022年11月30日发布。ChatGPT是由OpenAI开发的一款基于GPT-3.5架构的大型语言模型
2023年3月,OpenAI推出了GPT-4
2023年3月27日 百度公司开发的“文心一言”正式上线-B端用户。8月31日零点正式向全社会全面开放-C端的用户
2023年8月正式上线。豆包AI
Kimi
DeepSeek
国际:
OpenAI
谷歌 Gemini、Udio、Claude
微软 Microsoft Research - 在多个AI领域进行研究,包括自然语言处理、计算机视觉和强化学习
脸书 Facebook AI Research (FAIR) -
requests
Python 中
Python中处理HTTP请求最常用的库之一是requests。
requests库提供了简单易用的API,使得发送HTTP请求变得非常简单。
通过requests库,我们可以发送GET、POST、PUT、DELETE等各种类型的HTTP请求
HTTP 协议
在一个HTTP连接中,可以发送多个Request,接收多个Response。
请记住 Request = Response , 在HTTP中永远是这样,也就是说一个request只能有一个response。
而且这个response也是被动的,不能主动发起
Websocket是一个持久化的协议
单个 TCP 连接上进行全双工通信的协议,它允许服务器和客户端之间的实时双向通信
合用于实时应用程序,因为它不需要不断地建立和关闭连接
ws:// 和 wss:// 协议前缀 可以使用 TLS(Transport Layer Security,传输层安全)协议来保护数据的安全
WebSocket只有在建立连接时才用到了HTTP,升级完成之后就跟HTTP不再有任何关系
MQTT ---发布订阅模型
DeepSeek
模型列表
{"object":"list","data":[{"id":"deepseek-chat","object":"model","owned_by":"deepseek"},
{"id":"deepseek-coder","object":"model","owned_by":"deepseek"}]}
####说明
chat https://api.deepseek.com/chat/completions
FIM fill-in-the-middle base_url="https://api.deepseek.com/beta"
###
网页端默认使用流式输出(stream=true),即模型每输出一个字符,都会增量地显示在前端。
API 默认使用非流式输出(stream=false),即模型在所有内容输出完后,才会返回给用户。
chat
输入:
modle : deepseek-chat
name role content
role: system user assistant
输出文本大小限制---边界 max_tokens
输出的重复内容权重--组合方式
frequency_penalty
presence_penalty
输出的形式:
stream
temperature--随机性和确定性 分散和集中
top_p
输出:
chat completion
model -id created
response_format 参数为 {'type': 'json_object'}
后端交互: OpenAI SDK
requests
FIM
prompt 提示词
echo
FIM 常用于内容续写、代码补全等场景。
通过 Function Calling 让模型能够调用外部工具,来增强自身能力。
通过 Few-shot 学习的方式,来提升模型的输出效果。所谓 Few-shot 学习,是指在请求中提供一些示例,让模型学习到特定的模式
应用
进行上下文拼接,以实现多轮对话
第一轮请求时,传递给 API 的 messages 为
第二轮请求时:
要将第一轮中模型的输出添加到 messages 末尾
将新的提问添加到 messages 末尾
最终传递给 API 的 messages 为
Authorization -身份验证
Authorization 是HTTP 提供一个用于权限控制和认证的通用框架
Authorization的运行主要依赖于 WWW-Authenticate响应标头以及 Authorization请求标头
在 HTTP 请求中,Authorization 请求头用于验证用户身份,其格式为 Authorization: <type> <authorization-parameters>。
其中,<type> 指的是认证的方式,
而 Bearer 是被称为Token(令牌)认证,它是基于OAuth2.0认证协议的认证方案。该方案使用令牌(token)授权
如 Basic 认证方案 该方案通过在HTTP请求中发送用户名和密码来进行身份验证
如 Digest 认证方案 为摘要认证,是基本认证(Basic Authentication)的一个改进版本
如 JWT(JSON Web Token)认证
在 OAuth 和 JWT 授权中,Bearer 类型被广泛使用,
确保请求能够正确地被服务器识别和处理。
JWT和Bearer认证都很相似。它们都是在HTTP请求的头部字段中发送的,格式通常是
Authorization: Bearer <token>。
这里的<token>可以是一个Bearer令牌,也可以是一个JWT。
API密钥认证(API Key Authentication)
双因素认证(Two-Factor Authentication, 2FA)是一种身份验证方式