2023-8-24 大型语言模型的科学挑战 2023 人工智能大会青年科学家论坛

大型语言模型的科学挑战 | 2023 人工智能大会青年科学家论坛

复旦大学 邱锡鹏

MOSS模型开发过程

• 中文预训练基座（CPT, CBART）2021.9

• 对话模型（MOSS）2023.2

• 工具增强（MOSS-Plugin）2023.4

大模型时代，自然语言处理还存在吗？

graph LR G[V1]-->A1 A1[输入] B1[基础模型] C1[词法分析] D1[信息抽取] E1[特定任务] F1[输出] A1-->B1 B1-->C1 C1-->D1 D1-->E1-->F1 H[V2]-->A2 A2[输入] B2[基础模型] C2[词法分析] D2[信息抽取] E2[特定任务] F2[输出] A2-->B2 B2-->C2-->F2 B2-->D2-->F2 B2-->E2-->F2 I[V3]-->A A[输入] B[LLMs] F[输出] A--->B B--->F

• 生成范式为主流

  • 代表模型：Google BERT
  • S2S: Google T5
  • LM: ChatGPT

• 大模型带来的问题

  • 同质化严重
  • 赛道拥挤
  • 重回特征工程
  • 算力高消耗高
  • 评估困难

大模型的科学价值

1. 基于Transformer的语言模型（自然语言的语义组合）
2. 思维链能力来源
3. 大模型训练目标（端到端训练减少泛化误差）
4. “幻觉”（模型生成不正确无意义的文本）

当前多模态模型

• Modality-specific encoder
• Multi-model input -> text output
• Text instructions
• Continous encoding

SpeechGPT模型

• 接入语音离散化导入GPT
• 实现跨模态接入（实现多语言，多方式输出）