基于DeepSeek大模型的应用架构

目录

• 业务概念
  • 微调（Fine-Tuning）和检索增强生成（RAG）
    • 相似点
    • 不同点
• 应用架构
  • 应用层
  • 应用架构层
  • 应用技术层
    • Agent智能体
      • knowledge
      • workfow
    • RAG/检索增强生成
    • Prompt/提示词工程
    • Fine-tuning/微调
    • COT/ 思维链
    • 数据抓取
    • 数据清洗
    • 数据向量
    • 访问控制
  • 模型层
    • 作为一个企业，电商系统，或者BI系统有了大模型就够了吗？
      • LLM（大模型 ，参数超过10B）
      • SLM（小模型）
      • IT 系统
  • 云原生 Docket ，K8s
  • 基础设施层 （硬件）
• Agent 七种架构模式
  • ReAct 面向目标Agent架构模式
  • 多智能体架构模式
  • LangGraph RAG增强架构模式
  • 智能体组合架构模式
  • 路由分发架构模式
  • 大模型代理架构模式 （推荐）
  • 基于缓存的微调的架构模式
  • 双重安全架构
• 参考资料

业务概念

微调（Fine-Tuning）和检索增强生成（RAG）

相似点

• 提升性能：微调通过在特定数据集上训练来优化模型在特定任务或领域的性能；RAG通过检索外部知识来丰富模型生成内容，从而提高生成的质量和准确性，二者最终目的都是提升大模型Agent在具体应用场景中的性能表现，让模型输出更符合需求、更优质的结果。
• 利用额外数据：微调需要使用特定的小规模数据集，这些数据是对预训练数据的补充，用于引导模型学习特定知识；RAG则是在生成过程中实时检索外部知识数据，为模型生成提供更多信息支持，都涉及到对预训练模型本身数据之外的额外数据的利用。

不同点

• 数据使用方式
  • 微调：是基于特定的小规模数据集对模型参数进行调整，这些数据在训练前就已经确定并用于训练过程，模型通过学习这些数据中的模式和特征来调整自身的参数，以适应特定任务或领域，是一种“离线”的学习方式，对模型的改变是较为全局性的，会影响模型的整体参数。
  • RAG：是在模型生成文本的过程中实时检索外部知识，根据当前的输入和生成需求动态地获取相关信息，是一种“在线”的知识引入方式，不会直接改变模型的参数，只是在生成阶段利用外部知识来辅助生成。
• 知识来源与更新
  • 微调：知识来源于特定的微调数据集，一旦微调完成，模型所学到的知识就固定在模型参数中，若要更新知识，需要重新进行微调训练。
  • RAG：可以随时从外部知识源中获取最新的知识信息，知识源可以实时更新，模型在每次生成时都能获取到最新的知识，具有更强的灵活性和实时性。
• 对模型的影响程度
  • 微调：可能会对模型的内部表示和生成机制产生较为深刻的影响，使模型从整体上适应特定任务或领域的特点，在某些情况下可能会使模型在特定任务上的表现有较大的提升，但也可能会导致模型在其他通用任务上的性能有所下降。
  • RAG：对模型本身的改变相对较小，主要是在生成过程中提供额外的信息支持，帮助模型生成更好的内容，不会改变模型的基础结构和核心参数，模型仍然保持其原有的通用性和灵活性，只是在生成结果上更加准确和丰富。

应用架构

自上而下

应用层

比如RAG类企业知识库，OLTP类应用智能客服，企业级文本优化助手，Agent类应用如财务分析，合同对比

应用架构层

把知识点连成线，线连成面
工程技术架构： 架构设计，架构选型，服务治理
业务架构：agent，rag，prompt 怎么选？ 业务架构选型的问题

应用技术层

Agent智能体

Agent = LLM+knowledge（企业私有知识 企业代码，产品说明，会议纪要）+workfow

knowledge

通过RAG和Fine Turning把企业内部知识给到LLM，让推理能力更强

workfow

业务流，云原生架构。 一个请求过来，第一步干啥，第二步干啥，第三步干啥。 目的：辅助LLM让推理更准确。
没有到AGI时代，LLM推理会产生幻觉。在关键系统里面，我们把流程预制好，这个时候推理稳定性变高，让推理更准确。是个阶段性产物，到了AGI时代的时候，就不需要workflow了。

ｗｏｒｋｆｌｏｗ和Ａｃｔｉｏｎ＆ｔｏｏｌｓ搭边
ｐｌａｎｎｉｎｇ 和 prｏｍｐｔ 联系更多

RAG/检索增强生成

Prompt/提示词工程

Fine-tuning/微调

COT/ 思维链

数据抓取

数据清洗

数据向量

访问控制

越权控制

模型层

DeppSeek 大语言模型（LLM），视觉语言模型，语音-语音模型，

作为一个企业，电商系统，或者BI系统有了大模型就够了吗？

不是，需要大模型，小模型和IT系统组合

LLM（大模型 ，参数超过10B）

自然语言处理 LLM： 通义千问，kemi，openapi O1，O3
视觉模型LVM：清华质朴，

SLM（小模型）

比如OCR,搜索推荐 ，风控，召回，排序

IT 系统

智能文档理解模型，多模态检测与分割模型。 占比20%

云原生 Docket ，K8s

弹性伸缩层
Stateless 无状态化。可以弹性伸缩
Stateful 有状态化

没有记忆。 DeepSeek是无状态化的

基础设施层 （硬件）

GPU/TPU, CPU,HDD,Network

Agent 七种架构模式

Agent是AI大模型形态的主要形态。 类比移动互联网时代的APP。 APP有很多架构模式，单体，微服务，前后端分离。

ReAct 面向目标Agent架构模式

流程
1 规划。 由DeepSeek实现，大任务拆小任务（API）
2 Action
调用API。理论上没关系。假设执行通过DS的function calling调用，把API注册给大模型，DS通过function call机制来调用
3 观测
第一次调用的response+prompt 给到DS 变成新的prompt给大模型，问DS下一步要怎么干。

把前面执行的结果+前面的prompt组成新的prompt给到DS，让DS告诉我下一步的Action是什么，要么规划，要么退出

帮我订阅五一从北京到巴黎行程
1 规划
行程
预定
支付完成

2 Action
调用API

多智能体架构模式

智能体之间的通讯，通过Agent做协调。 一个协调Agent，2个干活的Agent

LangGraph RAG增强架构模式

RAG 是一个工具，给大模型补充业务知识。
RAG是一个逻辑概念，在物理上可以是一个Deepseek。 但是如果DS提供不了公司内部的业务知识，使用Agent选择器

LangGraph 是一种开发框架，除此之外还有Dify，

智能体组合架构模式

智能体选择器把大任务拆成几个小任务，小任务分别交给 AgentA，B,C，再汇总输出 . 类似大数据的Mapreduce
智能体选择器可以是DS，也可以是Agent

路由分发架构模式

路由转发模块也是一个Agent，本质上做意图识别。 由他决定大模型处理，小模型处理，还是IT系统处理。

大模型代理架构模式 （推荐）

跟组合和分发不同，是他会做任务规划和拆解。

例子：智能客服，有时候要查询BI库，有时候要查询商品库，查询订单库，用户记录等。

基于缓存的微调的架构模式

DS得出结果写缓存。如果是高频的，会把高频的内容作为知识给到大模型做微调（Fine Turing）

双重安全架构

Proxy代理：软件清洗
防火墙：硬件清洗

参考资料