2023-8-24 大型语言模型的科学挑战 2023 人工智能大会青年科学家论坛

大型语言模型的科学挑战 | 2023 人工智能大会青年科学家论坛

复旦大学 邱锡鹏

MOSS模型开发过程

• 中文预训练基座（CPT, CBART）2021.9

• 对话模型（MOSS）2023.2

• 工具增强（MOSS-Plugin）2023.4

大模型时代，自然语言处理还存在吗？

• 生成范式为主流

  • 代表模型：Google BERT
  • S2S: Google T5
  • LM: ChatGPT

• 大模型带来的问题

  • 同质化严重
  • 赛道拥挤
  • 重回特征工程
  • 算力高消耗高
  • 评估困难

大模型的科学价值

1. 基于Transformer的语言模型（自然语言的语义组合）
2. 思维链能力来源
3. 大模型训练目标（端到端训练减少泛化误差）
4. “幻觉”（模型生成不正确无意义的文本）

当前多模态模型

• Modality-specific encoder
• Multi-model input -> text output
• Text instructions
• Continous encoding

SpeechGPT模型

• 接入语音离散化导入GPT
• 实现跨模态接入（实现多语言，多方式输出）