第一讲
大模型受众广泛原因
成为发展通用人工智能的重要途径
过去使用专用模型,一个模型一个问题;现在提倡通用模型,即一个模型应对多种任务,多种模态。
书生浦语大模型
从模型到应用
开放体系
- 数据: 多模态融合(领域广泛), 精细化处理(数据经过清理和筛选),价值观对齐
- 预训练:高科扩展,极致的性能优化,兼容主流,开箱即用
- 微调:增量续训(模型学习新知识,如某个垂类领域额度知识),有监督微调(理解遵循各种指令或注入少量领域知识),多种生态,适配多种硬件(NVIDIA 20系以上所有显卡,最低只需要8G显存即可微调7B模型)
- 部署:大语言模型特点(开销大,动态shape,模型简单transformer结构且大部分decoder-only),根据特点提供LMDeploy来提供GPU解决方案
- 评测:OpenCompass评测集
- 应用:局限性(最新信息获取,可靠性,数学计算,工具使用与交互),由此让大模型向智能体转变